Epoch AI、自社の仕事を AI に任せられるかを検証
公開 3 分で読めます
AI の研究機関 Epoch AI は 10 月 8 日、自社の実際の仕事を AI のモデルにどこまで任せられるかを調べる評価「Epoch Automation Reports」の、初めの結果を公開しました。図の作成やデータの分析、研究の計画など 11 の課題を 6 つのモデルに任せ、社員と同じ基準で人が採点しています。結論は、上位のモデルでもまだ Epoch の仕事を自分だけで仕上げることはできない、というものでした。
要点
- 課題は図のデザイン・短い分析記事・データの公開ページ・データセンターの調査・研究の計画の 5 種類です。
- 各モデルは各社のエージェントの道具(Codex・Claude Code など)で、最も高い推論の設定で試しました。
- 総合の点数は、Claude Fable 5.1 と GPT-6 Astra がほぼ並んで上位でした。
- 上位の 2 つは、コードやデータの分析のように決まった作業では、安定して正確でした。
- 重みを公開したモデルは決まった作業でも誤りがあり、上位との差が開いていました。
- どのモデルも、実験の組み立てや誤った結果の扱いなど、研究の判断に弱さがありました。
試したのは GPT-6 Astra(Codex)、Claude Fable 5.1(Claude Code)、Grok 4.6(Grok Build)、Gemini 3.8 Flash(Antigravity)、Kimi K3(Kimi Code)、Qwen 3.8 Max(Qwen Code)の 6 つです。新しく入った社員に渡すのと同じくらいの資料と、専用の作業場所での権限を渡し、途中で手を貸さずに取り組ませました。図のデザインの課題の 1 つは、Claude Fable 5.1 が Epoch の基準に届く出来に仕上げたため、評価から外しています。Epoch AI は、この作業を自社でもほぼ自動化したとしています。
一方で、どのモデルも参考の資料を渡しても、Epoch の見た目の決まりや読者の関心をつかみきれませんでした。Claude Fable 5.1 は、図や文章に必要以上の情報を詰め込む傾向がありました。GPT-6 Astra は、研究の試しの実験で出力の上限を低くしすぎた設定の誤りに気づきながら、その結果を主な発見として書いていました。Kimi K3 は、物理の論文だけを数えるはずが全分野の論文で数え、その誤りの上に分析を組み立てていました。Kimi K3 は総合の指標 ECI では Grok 4.6 とほぼ並ぶ 158 ですが、こうした基本の作業では差があり、Epoch AI は既存のベンチマークでは見えにくい弱さだとしています。考える余地の広い課題でも、6 つのうち 3 つのモデルが同じ題材を選ぶなど、考えが似通う傾向も見られました。
Epoch AI は、課題の数が少なく各モデルを 1 回ずつしか試していないこと、採点に主観が入ること、各社の道具の違いが結果に影響した可能性があることを、限界として挙げています。新しいモデルが出るたびに結果を足していくとしています。
日本の利用者にとって
研究の評価の発表で、日本語への対応や日本での提供には触れていません。Epoch AI は 10 月 7 日にも、AI の研究開発を AI が自動化できるかを測る InnovationEval の結果を公開しています。
YOBITSUGI AI で使えるか
これは評価の結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra、Google の Gemini 3.8 Flash と、Anthropic の Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。
出典
- Can AI automate Epoch?(Epoch AI・2026年10月8日)
