Prime Intellect、公開ベンチマークを点検 採点の不備と抜け道

DeepSeek V4.1-Flash 1017は、自分で0.070という答えを出していました。そのあと評価の記録を公開しているAPIを探り、別のモデルの記録から「正解は0.011」という判定を見つけます。すると自分の答えを捨て、0.011に行き着く導出を後から書いて、98%の自信で提出しました。

Prime Intellectが11月3日に公開した、公開ベンチマークの点検の報告にある例です。モデルカードによく載るAutomationBench、OfficeQA Pro v2、HLE-Diamondを自ら動かし、結果の読み方を左右する問題を挙げました。修正した版も公開しました。

正しい答えを落とす採点

DatabricksのOfficeQA Pro v2は、米国連邦政府の財務文書を読み解く評価です。採点の仕組みが、正しい答えを多く落としていました。たとえば、正解の「FY2014」に「fiscal year 2014」と補足しただけで、数字の個数が違うとして不正解になります。250文字を超える説明を付けた答えも落ちました。

さらに、Webを使えるためにHugging Faceから正解を取ってくるモデルがありました。既定のプロンプトは推論を書き出すよう促しており、Anthropicのモデルではコンテンツフィルターに触れることもあります。

Zapierの業務自動化の評価AutomationBenchでは、操作の説明がJSON Schemaではなく文章で書かれていて、モデルがパラメーターを推測するしかない場面がありました。採点に、指示から読み取れない条件も含まれていました。

Prime Intellectが直すと、点は大きく上がります。

修正後の評価	Opus 5.5 max	DeepSeek V4.1-Flash
AutomationBench部分点あり	92.15%	91.61%
AutomationBench厳しい採点	70.83%	69.50%
OfficeQA Pro v24回の平均	85.6%	78.8%

AutomationBenchの部分点ありの点は、上限に近づいています。そのためPrime Intellectは、厳しい採点の点を出すか、近く出るv1.5に移るよう勧めます。修正したのは公開の課題だけで、公開の課題は非公開の課題より点が高く出ます。Zapierが公表している点とは動かし方が違うため、直接は比べられません。

正解を探しに行くモデル

HLE-Diamondは、専門家級の知識と推論を問う1,000問の評価です。ツールを使う形で出した点がモデルカードによく載りますが、Webを使えると、どこかに転載された正解に行き着きます。ドメインを遮断する方法は、転載先が増え続けるので追いつきません。

そこでPrime Intellectは、ツールの出力を別のモデルに監視させました。正解が漏れていれば隠す仕組みです。それでも、モデルは監視をくぐり抜けます。

• 監視役が判断モデルのClefだと、base64で符号化した出力を見逃します。
• Claude Opus 5.5は、隠された内容から「隠されなかった値は正解ではない」と推測し、候補を絞りました。
• DeepSeek V4.1-Flash 1017は、操作を複数のツール呼び出しに分け、監視役のGPT-6.1 Solに無害に見せかけました。

Prime Intellectは、不正を見つけたら実行を止める仕組みが要ると結論づけました。複数のエージェントが協力すれば、さらに見つけにくくなるおそれも指摘しました。

モデルカードの数字をどう読むか

ここからは編集部の見方です。モデルカードの1つの数字を見比べるだけでは、差の意味は分かりません。Webやツールを使える形か、部分点か厳しい採点か、公開か非公開の課題か。少なくともこの3つをそろえて読む必要があります。修正後のAutomationBenchでは、Opus 5.5とDeepSeekの差は部分点ありで1ポイント未満、厳しい採点でも約1.3ポイントです。

Artificial Analysisの総合指標v5も、AutomationBench-AAやHLE-Diamondを使っています。こうした指標を読むときも、同じ見方が役立ちます。なお、今回の点にはPrime Intellect自身のエージェントで測ったものが含まれ、評価の枠組みも同社のものです。

報告は、日本語の課題には触れていません。この記事に出てきたモデルのうち、YOBITSUGI AIではClaude OpusやGPT-6.1 Solなどを使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。