Epoch AI、ECIの計算をベイズ統計に 上位の値はほぼ変わらず

GPT-6 AstraがClaude Opus 5.5より能力が高い確率は72%、Claude Fable 5.1より高い確率は99%。Epoch AIが11月4日に計算の方法を改めた、AIの能力の総合指標「Epoch Capabilities Index（ECI）」で、こうした比べ方ができるようになりました。

ECIは、多くのベンチマークの点を1つの物差しにまとめた指標です。モデルごとに受けたベンチマークが違っても比べられるよう、問題の難しさとモデルの能力を同時に推定します。Claude 3.5 Sonnetを130、GPT-5を150とする目盛りは変わりません。

何が変わったか

これまでは、予測した点と実際の点の差が最も小さくなる値を1つ求め、データを選び直すくり返し（ブートストラップ）で区間を出していました。ただ、1つのモデルが受けたベンチマークは中央値で10本、少ないと4本です。Epoch AIは、この数ではブートストラップの区間は当てにならないと判断しました。

新しい方法では、ありうる値の分布をまとめて推定します（ベイズ統計）。点の誤差が0%や100%の近くで小さくなる形を使い、ベンチマークごとに点のぶれの大きさが違うことも組み込みました。区間は、真の値がその中に入る確率が90%の範囲です。

前のECI	モデルの数	平均の変化	区間の幅
125以上	176	-0.1	13%狭く
125未満	76	-13.7	33%広く

最先端のモデルは、すべてECI 125以上の側に入ります。どのモデルも新しい値は前の区間の中に収まり、上位20のうち18は平均0.7上がりました。大きく下がったのは、最先端から遠い古い弱いモデルです。少ない点で測られたモデルを平均へ引き寄せていた補正を外したためで、ECIが100未満だった21モデルは平均27下がりました。

能力の伸びの傾きは、推論モデルの時代で1年あたり15.7から16.6に、それ以前で6.2から8.0に、やや急になりました。Epoch AIは、目盛りの取り方が変わった影響が主で、もとの不確かさに比べれば小さいとしています。

区間が重なっていても、差は分かる

GPT-6 Astraの区間は166.2〜172.7、Claude Opus 5.5は165.8〜172.0で、大きく重なります。それでも2つの差の区間は−0.9〜+2.1と、それぞれの区間の半分の幅です。2つのモデルの不確かさの多くは、目盛りの基準になる2つのモデルの位置から来ていて、近いモデルどうしは一緒に動くためです。

ここからは編集部の見方です。これまでは「区間が重なるモデルどうしは差を言い切れない」と読むのが無難でした。これからは、Epoch AIが確率を示したものなら、その数字で比べるほうが正確です。72%は「たぶん上」程度で、99%とは意味が違います。

このメディアの毎週の性能比較も、ECIを使っています。11月9日の回から新しい値で比べます。これまでの回は区間を「95%の信頼区間」と書いていましたが、Epoch AIの説明では前の方法も90%の区間だったため、訂正しました。

これは評価の指標の更新で、モデルの発表ではありません。新しいECIの値、データ、コードは、Epoch AIのサイトで公開されています。