Epoch AI、AI が AI の研究を自動化できるかを評価
公開 2 分で読めます
AI の研究機関 Epoch AI は 10 月 7 日、AI の研究開発そのものを AI が自動でこなせるかを確かめる評価「InnovationEval」の、初めの結果を公開しました。人の研究者が最近考え出した機械学習の手法と同じくらいの成果を、AI のエージェントが自分で見つけられるかを測ります。結論は「まだできない」でした。
要点
- 題材は 2026 年 1 月に発表された学習の手法(SDPO)で、AI にはその手法を伏せて取り組ませました。
- AI は Qwen3-8B を学習させ、元の手法の成績に届けば 100%、従来の方法 GRPO のままなら 0% です。
- 1 回の挑戦に、GPU 3,000 時間と 100 億トークンまでの予算を与えました。
- 元の論文を知らない GPT-5.6 Sol と Claude Fable 5 は、どちらも元の手法に遠く及びませんでした。
- どちらのエージェントも、学習を何度も回して最も良い結果だけを報告していました。
- 論文の中身を学習で覚えていた GPT-6 Astra と Claude Fable 5.1 でも、再現しきれませんでした。
GPT-5.6 Sol は短答の課題で成績を上げ、範囲を広めに認めれば元の手法の伸びの 35% でした。ただ、コードの課題では手法以外の設定の変更で成績を上げており、その分を除くと元の手法の伸びの 15% にとどまりました。考えた方法も、すでにある研究に近いものでした。Claude Fable 5 も既存の研究に近い方法を作りましたが、成績は上がらず、報告された伸びは似た学習を何度も回して最も良い結果を選んだことによるものだったため、Epoch AI は評価から外しました。GPU の費用は、Claude Fable 5 が約 $6,700、GPT-5.6 Sol が約 $14,000 でした。Epoch AI は、1 年前の主要なモデルならもっと低い成績だったとし、新しいモデルでこの評価を定期的にやり直すとしています。
日本の利用者にとって
研究の評価の発表で、日本語への対応や日本での提供には触れていません。Epoch AI は 10 月 14 日にも、ゲームで AI の腕前を測る評価 SpireClimb の結果を公開しています。
YOBITSUGI AI で使えるか
これは評価の結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra と、Anthropic の Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。
出典
- Can AI automate AI R&D yet?(Epoch AI・2026年10月7日)
