Replit、AIにアプリを1から作らせる評価 首位はGPT-6.1 Sol

最初はきちんと動いていたアプリが、機能を足すたびにどこか壊れていく。AIにアプリづくりを任せた人なら、覚えがあるはずです。

Replitは10月29日、この場面を測る評価「ViBench 2.0」を公開しました。空のプロジェクトから始め、配車やコードの共有、文書の共同編集などのサービスをまねた17の製品を、短い仕様から作らせます。最初の版のあと、最大18の機能を1つずつ足していき、最後に採点役のAIが本物のブラウザで操作して試します。すべての試験に通った割合は、GPT-6.1 Solの64.7%が最高でした。¹

機能と機能が重なるところで落ちる

上位の3つは、試験の9割以上に合格しています。落ちた作りの多くは、あと数件で届かなかったものです。つまずくのは、機能どうしが重なるところでした。下書きのプルリクエストに衝突が表示されない、表のセルの中の言葉にコメントできない、元に戻す操作で同僚の変更まで消してしまう、といった例です。上位のモデルが落ちた作りの4分の3近くは、こうした重なりの試験だけで落ちていました。²

違いがはっきり出たのは、費用です。GPT-6.1 Solは1つの製品を作るのに約12ドル、GPT-6 Astraは約90ドルかかりました。DeepSeek V4.1 Flashは約2.5ドルで試験の77%に合格しましたが、重みを公開したモデルで、すべての試験に通った作りはありません。時間はOpus 5.5が平均約70分で、GPT-6.1 Solより2.5倍ほど速く仕上げています。出したトークンの量は6%ほどしか違わず、差の多くはAPIの応答の速さによるものだとしています。³

アプリづくりを任せるなら（編集部の見方）

正直なところ、首位のモデルでも3回に1回は、どこかに穴の残るアプリになる計算です。前の版のViBenchでも、AIが自分の書いたコードに機能を足すと点が下がることが分かっていました。最初に決めたデータの形が、あとの機能の足かせになるからです。AIに機能を足してもらうときは、新しい機能だけでなく、ほかの機能と重なる場面を試す手順も一緒に頼むと、わりと見落としが減るはずです。評価はOpenHandsをもとにした共通の仕組みで動かしていて、推論の深さはmediumでした。Claude CodeやCodexなど、各社のツールで動かしたときの差は示されていません。長い作業を測るFrontierCode 2.0と並べて見ると、得意なモデルの違いが見えてくるかもしれません。

YOBITSUGI AIでは、OpenAIのGPT-6.1 SolとGPT-6 Astra、AnthropicのClaude OpusとClaude Sonnetを使えます。xAIのGrok 4.7、DeepSeekのDeepSeek V4.1 Flash、GoogleのGemini 3.8 Flashも使えます。GLM 5.3とKimi K3は、現時点の対応モデルには含まれていません。