本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

数学の証明をLeanで書く評価、GPT-6.2 Astraが首位

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

研究の水準の数学の定理を、コンピューターが正しさを確かめられる形の証明に書き直す。そんな重い作業でも、モデルによって大きな差が出ます。

AIの評価を手がけるVals AIは11月18日、数学の証明を証明支援系のLean 4で書く評価「Autoform-Hard」の結果を公開しました。首位はOpenAIのGPT-6.2 Astraで、56問中49問を解きました。Claude Fable 5.2とGPT-6.2 Solは48問で並んでいます。Astraだけが解いた1問は、2006年に発表された代数の定理で、Vals AIの知る限り、これまでLeanなどで形式化された例はありません。

どんな評価か

Autoform-Hardは、Meta FAIRの評価AutoformBenchのうち、いちばん難しい部分です。AutoformBenchは、代数幾何や数論、グラフ理論など大学院と研究の水準の教科書24冊から作った、341問の形式化の課題からなります。Vals AIは、もとの研究で最先端のモデル10個がどれも解けなかった問題から56問を選びました。

1問ごとに、時間は3時間まで、費用はモデルの定価で200ドルまでです。途中で「解けない」と報告することもできますが、20ドルを使うまでは受け付けません。提出した証明は、元の課題から作り直した環境で照らし合わせ、定理の文が書き換えられていないか、決まった公理だけを使っているかを確かめます。

モデル正答率(解いた数)課題1つの費用課題1つの時間
GPT-6.2 Astra正答率87.50%(49問)課題1つの費用$15.24課題1つの時間49分
Claude Fable 5.2正答率85.71%(48問)課題1つの費用$23.21課題1つの時間1時間7分
GPT-6.2 Sol正答率85.71%(48問)課題1つの費用$8.09課題1つの時間1時間13分
Gemini 4 Carbon正答率71.43%(40問)課題1つの費用$12.38課題1つの時間1時間55分
Gemini 4 Hydrogen正答率64.29%(36問)課題1つの費用$23.25課題1つの時間2時間7分
Gemini 4 Argon正答率48.21%(27問)課題1つの費用$25.74課題1つの時間1時間48分
Beam 1.0正答率0%課題1つの費用—課題1つの時間54分
MiniMax-M3.1-Flash正答率0%課題1つの費用$4.29課題1つの時間2時間57分

Vals AIの表の値で、11月19日に確認しました。解いた数は、正答率に56を掛けて求めました。正答率の誤差は、上位3つで±4.5〜4.7ポイントです。

上位3つの差は1問だけで、誤差の範囲に収まります。むしろ目立つのは費用です。GPT-6.2 Solは、Fable 5.2と同じ48問を、課題1つ8.09ドルと約3分の1の費用で解きました。GoogleのGemini 4の世代は、最上位のCarbonでも40問にとどまりました。重みを公開しているBeam 1.0とMiniMax-M3.1-Flashは、1問も解けませんでした。

「解けない」と報告したあとで解いた

Astraだけが解いた問題は、数学者のAgata Smoktunowiczが2006年に示した定理です。ある種の代数の「大きさの増え方」を数えると、おおよそnの2乗以下か、nの3乗以上のどちらかになり、その間には決してならない、という内容です。

Astraは、Leanと数学の部品集Mathlib、シェルだけがある環境で、人の手を借りずに94分で証明を書き上げました。コードは1,794行、やりとりは146回で、Astraの定価で計算した費用は21.58ドルです。

途中で終わりかけたことも、記録からわかります。47分ほどたったころ、Astraは易しい場合だけ埋まった不完全な証明を出し、採点で退けられます。そのあと、何を証明できて何ができていないかを正直に書いて「解けない」と報告しました。しかし、まだ約8ドルしか使っていなかったため、評価の決まりで作業に戻されます。Astraは9分ほどコードを書かずに考え、別のやり方で一から組み立て直しました。完全な証明が通ったのは、「解けない」の報告から39分後です。

証明の筋道も、論文とは違います。論文が頼る3つの深い定理はMathlibに入っておらず、形式化するだけで大仕事になります。Astraはそれらを使わず、自分で定義した「capacity」という量をもとに組み立てました。この量には先行研究に近いものがあります。ただ、後半の筋道は公開されている証明のどれにもない、とVals AIは説明しました。証明は、Vals AIが人の目でも確かめたうえで、注釈つきで公開中です。1

読み取れること(編集部の見方)

この結果から言えるのは、数学の重い作業を数時間任せられる段階に、上位のモデルが届いたということです。ただ、56問は少なく、上位3つの順位は入れ替わりうる差です。選ぶなら、Solの費用の安さのほうが実用の差として大きいでしょう。また、Astraも一度は諦めかけており、「20ドルを使うまで止めさせない」という評価の決まりが結果を左右しました。自分で使うときも、途中で止めずに時間と予算を与える設定にするかで、結果が変わりうるわけです。

日本の利用者にとっては、研究や教育で証明を検証したい人、ソフトウェアの正しさを形式的に確かめたい人に関わる結果といえます。一方、Gemini 4 Neonや、Claude Opus 5.5はまだ表に載っていません。

YOBITSUGI AIでは、Claude FableやGPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argonを使えます。今回の評価で首位のGPT-6.2 Astraと、GPT-6.2 Solは、現時点の対応モデルには含まれていません。

出典

注

  1. Vals AIは、証明が「sorry」(証明の穴)や警告を含まず、標準の公理だけに依存すること、課題のファイルが元と1バイトも違わないことを確かめたとしています。論文の証明を形式化したものではなく、同じ定理の別の証明だとも説明しました。 ↩

共有XFacebookLINEはてブ