Microsoftの評価、20回とも成功はOpus 5.5が最多
執筆・監修: 佐々木 航公開 更新 5 分で読めます
旅行の予約係のエージェントに、1,450ドルのホテルの部屋の変更を頼みます。会社の決まりでは、先に責任者の承認が要る変更です。それでも、公開モデルのQwen3.8-27Bは20回のうち15回、承認を待たずに部屋を変え、返金まで済ませて「完了しました」と答えました。
Microsoftは11月6日、こうした失敗を見つける評価の仕組み「ThinkingBox」の続報を、技術者向けの媒体で公開しました。エージェントを外と切り離した環境で動かし、利用者の役もAIが演じます。そのうえで、会話の記録ではなく、作業のあとに残ったデータベースの中身で合否を決めます。作業は小売・自動車保険・旅行・ネット銀行・コンサルティングの507件で、評価したモデルは18にのぼります。
失敗の3分の2は、終わったように見えた
12のモデルで12万1,680回試したうち、7万9,853回が失敗でした。そのうち67.24%は、会話の上では完了を告げ、データを書き換える操作もし、エラーも出ていない、終わったように見える失敗でした。
データベースを調べると、失敗の98.95%で中身が期待と違いました。77.61%では項目の値がまちがい、43.30%では頼まれていない変更をし、25.36%では必要な変更をしていません。失敗の79.9%は、ツールのエラーや空の検索結果から立ち直れなかったものでした。
平均と「20回とも成功」では、順位が入れ替わる
Microsoftは各作業を20回ずつ試し、平均の成功率と、20回とも成功した作業の数を分けて示しました。かかった費用も、1回の成功あたりと、20回とも成功した作業1件あたりの2通りで見積もりました。
| モデル | 平均の 成功率 | 20回とも 成功 | 成功1回 あたり | 安定した 1件あたり |
|---|---|---|---|---|
| Claude Opus 5.5 | 67.16% | 241件 | $0.276 | $7.80 |
| Claude Opus 5 | 66.50% | 241件 | $0.475 | $13.30 |
| GPT-5.4 | 65.36% | 128件 | $0.131 | $6.80 |
| GPT-5.6 Sol | 61.91% | 82件 | $0.127 | $9.76 |
| GPT-6 Astra | 58.31% | 231件 | $0.291 | $7.45 |
| Kimi-K3 | 57.37% | 68件 | $0.242 | $20.68 |
| Qwen3.8-27B | 51.70% | 38件 | $0.177 | $24.36 |
| Qwen3.8-27B強化学習のあと | 60.78% | 107件 | $0.139 | $8.00 |
507件×20回の結果。費用は、2026年9月20日時点のOpenRouterの最も安い料金で、エージェントの推論の分だけを見積もったものです(失敗した回の分も含みます)。Claude Opus 5.5は論文の外で、同じ方法で追加で測りました。
平均の成功率が7点ほど低いGPT-6 Astraは、20回とも成功した作業ではGPT-5.4のほぼ2倍の231件でした。反対に、Kimi-K3は476件を少なくとも1回は解きましたが、20回とも成功したのは68件だけです。Claude Opus 5は少なくとも1回解いた作業が401件と少ないものの、241件を毎回成功させました。
費用でも順位が入れ替わります。GPT-5.6 Solは成功1回あたりが$0.127といちばん安い一方、20回とも成功する作業1件あたりでは$9.76です。Qwen3.8-27Bは成功1回が$0.177と安くても、毎回成功する作業が38件しかないため、安定した1件あたりは$24.36になりました。
合否の判定を、そのまま学習に使う
合否の判定は、成功か失敗かの1か0を返します。Microsoftはこれを強化学習の報酬に使い、Qwen3.8-27Bを鍛え直しました。評価に使わない187件の作業で、学習には24枚のH100を使い、50ステップで止めた時点の結果を示しました。
結果は表の最後の行です。平均の成功率は51.70%から60.78%に、20回とも成功した作業は38件から107件に増えました。安定した1件あたりの費用は、$24.36から$8.00まで下がります。論文によると、評価した1,000億パラメーター未満のモデルの中で、いちばん高い成功率です。冒頭のホテルの作業でも、学習のあとは20回とも予約と支払いに手を付けませんでした。ただし、少なくとも1回は解けた作業は453件から446件に減っています。解き方の幅が広がったのではなく、うまくいく解き方を毎回選ぶようになった、という結果です。
評価と学習の仕組みは、GitHubで公開されています(microsoft/thinkingbox・microsoft/thinkingbox-training)。
読むときの注意と、使う側への示唆
作業はどれも、企業の業務をまねて作ったもので、実際の利用の記録ではありません。費用は決まった日の定価で見積もったもので、学習の費用や、失敗が後で生む損失は含みません。学習に使った作業と評価の作業は別ですが、作りの形は同じで、まったく別の場面にどこまで効くかは測っていません。
ここからは編集部の見方です。人が毎回結果を確かめる使い方なら、平均の成功率や「1回でも解けるか」で選んでも困りません。ところが、エージェントに確認なしで記録を書き換えさせるなら、見るべきは「20回とも成功」の列です。表のとおり、この列で選ぶと、GPT-5.4よりGPT-6 Astraのほうが頼りになります。費用も、成功1回の安さではなく、安定した1件あたりで比べるべきでしょう。自分の作業でも、同じ依頼を何度か流して、毎回そろって成功するかを確かめてから任せるのが安全です。
発表では、日本語の作業での結果には触れていません。YOBITSUGI AIでは、Claude OpusとGPT-6 Astraを使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。
出典
- The check that catches agent failures can also train them(Microsoft Command Line・2026年11月6日)