Opus 5.5、推論の強さ最低で費用16%・点は8割 Vals AIが測定

費用は16%、点は80%。Claude Opus 5.5の推論の強さを最低にしたときの結果です。Vals AIが11月3日に公開した検証で、7社の最上位モデルを最低、中間、順位表で使う設定の3段階に分け、Vals Indexの8つの評価にかけました。順位表で使う設定は、多くのモデルで最高です。

費用のほうが、点より大きく下がる

モデル比べた設定	点	点の差	費用
Gemini 4 Argonlowとhigh	99%	-0.5	84%
DeepSeek V4.1 Flashlowとmax	89%	-6.7	50%
GPT-6 Astralowとmax	88%	-7.5	18%
Grok 4.7lowとxhigh	86%	-8.6	16%
GLM-5.3lowとmax	81%	-11.8	53%
Claude Opus 5.5lowとmax	80%	-13.7	16%
Muse Spark 1.3minimalとxhigh	77%	-12.6	29%

割合は、順位表で使う設定を100%としたVals Indexの値です。7モデルのうち4つが、半分以下の費用で80%以上の点を残しました。ただ、最低の設定でVals Index全体の元の点に届いたモデルはありません。Opus 5.5の「80%」は、点の差にすると13.7です。

Gemini 4 Argonだけは傾向が違います。最低の設定にしても点はほとんど下がらない一方、費用も84%までしか下がりません。中間の設定では、順位表の設定をわずかに上回る点を78%の費用で出しました。最低の設定より安い結果です。

下げても響かない仕事、響く仕事

評価	中央値	Opus 5.5	GPT-6 Astra	4 Argon
Legal Research判例と法令の調査	+19.2	+27.9	+12.5	+2.9
Code Migration 1.1別の言語への移植	+15.6	+21.1	+28.7	-1.8
Terminal-Bench 4コマンドライン作業	+12.1	+28.3	+12.1	+3.0
Tax Agent Bench米国の法人税	+11.5	+22.8	+5.2	+4.2
Vibe Code Benchアプリの開発	+10.6	+5.6	+7.6	+1.3
Finance Agent 2.1金融の調査と推論	+5.0	+15.9	+2.8	-0.2
HLAB 1.1法務の成果物の作成	+3.3	+2.5	+3.3	-1.7
EMB 1.1Excelの財務モデル	+3.3	+3.3	+0.6	+0.3

表の値は、最高の設定の点から最低の設定の点を引いたものです。右端の4 ArgonはGemini 4 Argonです。同じ法務でも、調査のLegal Researchは差が大きく、成果物を作るHLABは小さく出ました。Opus 5.5は、4つの評価で20点を超える差が開きます。GPT-6 Astraで大きいのはコードの移植で、28.7点です。

モデルと評価の組み合わせ56通りのうち、22通りでは、安い設定が順位表の設定と同じかそれ以上の点を出しました。一方、33通りでは統計的に意味のある差で下がっています。意味のある差で上がった組み合わせはありません。

課題ごとに選べても、上積みは6点

課題ごとに、結果を見てから最も点の高い設定を選んだ場合も計算しています。それでも上積みは中央値で6.0点、費用は順位表の設定の64%でした。Opus 5.5なら60.6点が66.6点になり、費用は50%です。すべてを最低の設定で動かせば費用は29%なので、それよりは高くつきます。

結果を見てから選ぶ計算なので、これは上限です。実際の仕組みは解く前に選ぶため、上積みはもっと小さくなります。短い課題の振り分けで費用を比べた例には、Googleの50問の検証があります。