Vals AI、エージェントをチームにすると得かを検証

公開 2026年10月19日 18:153 分で読めます

AI モデルの評価を手がける Vals AI は 10 月 9 日、AI のエージェントを 1 つで動かす場合と、複数のエージェントのチームで動かす場合を比べた結果を公開しました。OpenAI と Anthropic はどちらも、まとめ役のエージェントが別のエージェント(サブエージェント)に仕事を分けて任せる機能を提供しています。Vals AI は、その効果と費用を、実際のソフトウェア開発に近い課題で測りました。

要点

チームの費用は 1 つのエージェントの 1.8〜5.1 倍で、点数の差がはっきり出たのは 1 つの組み合わせだけでした。
GPT-6 Sol は推論の量が medium のとき、チームにすると点数が 77.6% から 84.9% に上がりました。
GPT-6 Sol は、チームにするより推論の量を最大にするほうが点数が上がりました(89.0%)。
Claude Opus 5.5 は、推論の量を上げてもチームにしても、はっきりした差は出ませんでした。
最も高い点数は Opus 5.5 の推論の量を最大にしたチームの 93.2% で、費用は 1 アプリ平均約 $122 でした。
GPT-6 Sol のチームは作業が速くなり、Opus 5.5 のチームは最大で 2.3 倍の時間がかかりました。

題材は、製品の仕様書から Web アプリを丸ごと作る Vals AI の評価「Vibe Code Bench」です。50 のアプリを、推論の量を medium と最大の 2 通りにして、1 つのエージェントとチームでそれぞれ 1 回ずつ作らせました。チームでは、まとめ役が同時に最大 5 つのサブエージェントに仕事を任せられます。点数は、ブラウザーを操作するエージェントがアプリの画面の試験をどれだけ通せたかの割合です。

費用が増えた主な理由は、サブエージェントごとに仕様書と作業の状況を持ち、呼び出しのたびにそれを送り直すためでした。GPT-6 Sol のまとめ役は、最初の数分でデータベース・API・画面・公開の作業に分けて任せ、できたアプリを自分で試しました。Opus 5.5 のまとめ役は、多くの場合まず部品のつなぎ方を決めた文書を書き、作る役と試す役のサブエージェントに順番に任せました。推論の量が medium の GPT-6 Sol のチームは、難しいアプリで約 15 点、易しいアプリで約 1 点上がり、1 つのエージェントが作っていない機能まで「試験は通った」と報告していた例もありました。

Vals AI は、結果はフルスタックの Web アプリという 1 つの評価によるもので、ほかの種類の仕事にあてはまるとは限らないとしています。GPT-6 Sol は OpenAI の Agents API、Opus 5.5 は Claude Code で動かしたため、モデルどうしの比較には仕組みの違いも含まれます。最も高い 93.2% と、推論の量が medium の Opus 5.5 の 1 つのエージェント(91.5%・$4.08)の差も、はっきりしたものではありませんでした。費用は各社の定価(GPT-6 Sol は 100 万トークンあたり入力 $2・出力 $10)で計算しています。チームが向いているのは、別々に進められる部分の多い大きな仕事だとし、次はそうした課題を調べるとしています。