Ai2のStateBench、最難関の長文で主要モデルは13%以下

最も難しい問題の最も長い入力で、正解率は13%以下でした。Ai2が11月3日に公開したベンチマークStateBenchで、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Lunaを試した結果です。測るのは、長い文書の中で変数の値がどう変わったかを、最後まで追えるかどうかです。

コードを読むときも、物語で登場人物の持ち物を追うときも、この力が要ります。問題は4段階に分かれます。

• R-trivial: 値は一度決まると変わりません。let x = 4 や生年月日のようなものです。
• Aperiodic: 値を上書きします。x = 4 のあとの x = 2 のように、最新の値だけ見れば足ります。
• Soluble: x = x + 5 のように、前の値に足していきます。試合の得点のように、途中を落とせません。
• General finite: x = y や入れ替えが入ります。カップの中の玉を、入れ替えながら追うようなものです。

上書きは追えても、積み重ねで崩れる

段階正解率（%）	Gemini 3.8 Flash	Opus 5.5	GPT-6 Sol	GPT-6 Luna
R-trivial	約100	約100	約100	約100
Aperiodic	約100	約100	約100	87
Soluble	3	53	3	0
General finite	13	3	0	0

値は、Ai2の図にある各モデルの最も長い入力での正解率です。測った最長の長さは、モデルと段階で異なります。論文によると、難しい2つの段階では、入力が1万〜6.4万トークンに達すると、どのモデルも偶然と同じ水準まで落ちました。最も短い入力では、どのモデルもおおむね高い正解率です。

Ai2は、難しい段階では1か所の見落としが最後の答えを変えるためだと見ています。多くの更新が結果に響くので、見落としの余地が小さいのです。

作りを変えると、追える長さが伸びる

Ai2はさらに、2億7,500万パラメーターの小さなモデルを、この問題だけで一から学習させました。1つは、記憶を持ちながら読み進めるGated DeltaNetです。もう1つは、これをトランスフォーマーと組み合わせたハイブリッドです。どちらも、R-trivialからSolubleまでの3段階を、学習の250倍の長さまでほぼ完全に解きました。

トランスフォーマーは、やさしい段階でも長くなると崩れ、最も難しい段階は最後まで学習できませんでした。Ai2は、ハイブリッドなどがつまずくのは学習の問題で、トランスフォーマーは作りそのものの問題だと読んでいます。ただし、変数の数が途中で増える場合はまだ測れていません。

ここからは編集部の見方です。この試験は、変数の代入を並べた人工的な文書です。発表はツールの使用に触れておらず、実際の業務の文書で同じだけ落ちるかは分かりません。とはいえ、長いログや会話の中で値を足し引きした結果をAIに答えさせるなら、頭の中で追わせず、コードを実行させるほうが確実でしょう。上書きされる値の読み取りなら、今回の結果を見る限り、心配は少なそうです。

問題はHugging Face、コードはGitHubで公開しています。データセットの言語は英語で、日本語の文書には触れていません。試されたモデルのうち、YOBITSUGI AIではGemini 3.8 Flash、GPT-6 Luna、Claude Opusを使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。