Epoch AI、EBR-bench を更新 強すぎるカードを禁止に

AI の研究機関 Epoch AI は 10 月 7 日、ボードゲーム「Earthborne Rangers」を AI に遊ばせて、経験から学ぶ力を測る評価「EBR-bench」の更新を発表しました。GPT-6 Astra が満点を取りましたが、その多くはゲームの時間の制約を回避できる 1 枚のカードによるものだったため、今後はそのカードを禁止します。人が 1 回遊ぶのに 2〜4 時間かかるゲームで、長い手順の作業をこなす力も見る評価です。

要点

• GPT-6 Astra は元の形の評価で満点を取り、半分以上の挑戦で満点でした。
• 満点はすべて、ほかのカードと組み合わせると手番を無制限に増やせる 1 枚によるものでした。
• カードの利用はゲームの決まりの範囲内で、不正や記憶の直接の証拠は無かったとしています。
• 禁止の後も、GPT-6 Astra は 21 の目標のうち最高で 20 を達成しました。
• 禁止の後の平均の成績も、それまでの最も強いモデルより約 50% 高い水準でした。
• 複数のエージェントで分担させても、点数ははっきりとは変わりませんでした。

人の参加者の 1 位も同じカードで満点を取りましたが、2 位はカードを使わずに満点を取っており、満点にカードは要らないとして、主な点数と総合の指標 ECI に使う標準の設定で禁止しました。GPT-6 Astra は、多くの場合 2 回目の遊びを終える前にカードの力に気づいて使いこなしており、Epoch AI はこの点では人を超えて見えるとしています。一方で、敵や障害から受ける「疲労」を減らす戦い方はまだ平凡で、回数を重ねても良くならず、上位の人の参加者よりはやや弱いとしています。禁止の影響を調べた 3 つのモデルでは点数が大きく変わらなかったため、禁止の後の点数は Claude Fable 5.1・Claude Opus 5・GPT-5.6 Sol・GPT-6 Astra と、これからのモデルについて示します。

複数のエージェントの試験では、英国の AI Security Institute が作った仕組みをもとに、最大 4 つの補助のエージェントを使えるようにしました。試した 4 つのモデルの多くで、使うカードの組み合わせ(デッキ)の種類が増えましたが、統計的にはっきりしたのは Claude Opus 5 だけで、点数への効果は良い方にも悪い方にも一定しませんでした。Epoch AI は、数か月のうちに満点が当たり前になると見込み、今回を EBR-bench の最後の変更とし、より複雑なゲームで評価を続けるとしています。1 回の実験の試行の数も 10 回から 5 回に減らしました。

日本の利用者にとって

研究の評価の発表で、日本語への対応や日本での提供には触れていません。ベンチマークの点数には、評価を作った側の想定を超えたやり方による得点が混ざることがあると示した例です。Epoch AI は 10 月 14 日にも、ゲームで AI の腕前を測る SpireClimb の結果を公開しています。

YOBITSUGI AI で使えるか

これは評価の結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra と、Anthropic の Claude Opus・Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。

出典

• EBR-bench update(Epoch AI・2026年10月7日)