実際の仕事でFable 5.2が82%、GPT-6.2 Astraは65%
執筆・監修: 佐々木 航公開 更新 5 分で読めます
外注の調査員が16時間かけるデータセンターの調べものを、Claude Opus 5.5は3時間足らずで、より安く仕上げました。出来も、外注に頼んだときと同じくらいです。AIの研究機関Epoch AIが11月17日に出した評価の、いちばん目立つ結果です。
Epoch AIには、自社の実際の仕事をAIにどこまで任せられるか、を測る評価「Epoch Automation Reports」があります。今回は課題を見直し、新しいモデルを加えて結果を公開しました。10月の初回と同じく、各社のエージェントのツールで取り組ませ、社員に求める水準を100%として人が採点しました。
総合指標ECIでは、Claude Fable 5.2とGPT-6.2 Astraがほぼ並んで最高の点でした。ところが実際の仕事の平均では、Fable 5.2の82%とGPT-6.2 Astraの65%で、17ポイントもの差。社員の基準に届いた課題は、どのモデルにもありませんでした。
| モデル | 図 | 記事 | DC | 研究 | 平均 |
|---|---|---|---|---|---|
| Claude Fable 5.2Claude Code | 73 | 85 | 98 | 72 | 82 |
| Claude Opus 5.5Claude Code | 70 | 85 | 88 | 69 | 78 |
| Gemini 4 ArgonAntigravity | 60 | 73 | 83 | 53 | 67 |
| GPT-6.2 AstraCodex | 63 | 70 | 65 | 63 | 65 |
| Claude Fable 5.1Claude Code | 63 | 75 | 58 | 63 | 64 |
| GPT-6 AstraCodex | 48 | 69 | 40 | 66 | 56 |
単位は%。100%はEpoch AIの社員に求める水準です。「記事」は短い分析記事、「DC」はデータセンターの調査。小さい字は使ったエージェントのツールです。
GPT-6.2 Astraは前のGPT-6 Astraより平均で9ポイント上がり、Gemini 4 Argonに近い位置です。文章が短くなり、図のデザインも良くなりました。いちばん伸びたのはデータセンターの調査で、40%から65%へと25ポイント上がっています。
データセンターの調査は外注と同じ水準に
この課題では、Epochのデータセンターのデータベースに、EcoDataCenter 1という施設を加えさせました。ニュースや行政の資料を調べ、衛星写真を注文して読み解く作業です。Fable 5.2は97.5%、Opus 5.5は87.5%で、Epochの担当者は外注の調査員と同じくらいの出来だと判断しました。100%なら手直しなしで公開できる水準です。
時間と費用には差が出ました。外注の調査員はふつう1件に16時間ほどかけますが、Opus 5.5は3時間足らずで、外注より安く済ませました。Fable 5.2は約6.5時間かかり、費用も外注より高かったものの、出来はOpus 5.5を上回りました。Epoch AIは、外注の時間をAIの出力の確認に回すことを考え始めたといいます。
GPT-6.2 Astraは、慎重すぎて大事な情報を落としました。資料は複数のAI向けの建物を示していたのに、はっきりした証拠がないとして1棟だけを扱い、計算の力やチップの数の見積もりも出しませんでした。数字の一つひとつに別の裏付けを求めたためです。逆にGemini 4 Argonは、1棟だけが使うと公表していたNVIDIAのB200を、全部の建物で使うと決めつけていました。
研究の組み立てと、自分の採点が弱い
研究の課題では、どのモデルも実験の組み立てでつまずきました。チェスのルールを変えた変則チェスで、AIが学習にない状況にどこまで対応できるかを調べる課題です。ところが全モデルが、よく知られた既存の変則チェスを使いました。GPT-6.2 Astraは駒の記号を入れ替えただけで、Fable 5.2が新しく考えたとした「Kingsgate」は、すでにある「Midline Invasion」と同じでした。
さらに、試してみて直す、の繰り返しも足りません。画像に文字を隠す課題で、Fable 5.2は最初に作った指示のまま進め、隠したはずの文字がそのまま見える画像を多く出しました。読み手に合う題材を選ぶ課題では、Claudeのモデルがうまくこなした一方、GPT-6.2 Astraは2つのモデルの中国語の分け方の比較という、狭すぎる題材を選んでいます。
目を引くのは、自分の採点の甘さです。人が作った手本と自分の出力を、どちらがどちらか伏せて比べさせると、ほぼすべての場合で自分の出力を選びました。例外は、Gemini 4 Argonが人の手本を選んだ1件だけです。理由づけでは、実験の数のような見かけの丁寧さを高く評価しがちでした。
使う側が気をつけたいこと
ここからは編集部の見方です。調べものの下書きなら、Claudeの上位のモデルは外注に近い出来まで来ました。それでも、何を調べるかの組み立てと、どれが大事な発見かの判断は、人が受け持つ前提で使うのが安全です。また、AIに自分の出力を採点させると甘くなるので、確認は人か別のモデルに任せた方がよいでしょう。
GPT-6.2 Astraを調べものに使うなら、筋の通った仮定を置いてよいと、はっきり伝えるのが良さそうです。OpenAIもGPT-6.2の使い方の手引きで、元に戻せる範囲の仮定を置いて作業を進めさせる指示を勧めます。
なお、課題の数は少なく、各モデルは1回ずつしか試していません。採点には主観も入るので、細かい点数より、どこでつまずいたかを参考にしてほしい、とEpoch AIは書き添えます。課題を見直したので、10月の結果とは直接は比べられません。
日本の利用者にとって
課題はどれも英語で、Epoch AIの社内の仕事です。日本語での成績は測られていません。
YOBITSUGI AIで使えるか
YOBITSUGI AIでは、Claude Opus 5.5とClaude Fable、GPT-6 Astra、Gemini 4 Argonを使えます。GPT-6.2 Astraは、現時点の対応モデルには含まれていません。
出典
- How good are Fable 5.2 and GPT-6.2 Astra at real work?(Epoch AI・2026年11月17日)
- Epoch Automation Reports(Epoch AI・2026年11月18日に閲覧)