Artificial Analysis、FrontierCode の結果を公開

公開 2026年10月13日 17:342 分で読めます

AI モデルの評価を手がける Artificial Analysis は 10 月 12 日、コーディングのベンチマーク「FrontierCode 1.1」の結果を公開しました。FrontierCode は Cognition がオープンソースのリポジトリのメンテナー(保守の担当者)と作った評価で、AI が加えた変更を、そのリポジトリのメンテナーが取り込める水準かどうかで測ります。数値は、どのモデルも同じエージェントの仕組みで 100 の課題を 3 回ずつ試した結果です。

要点

テストの合否に加えて、変更が多すぎないか、関係のないファイルを触っていないかも採点します。
首位は Claude Opus 5.5 の 52% で、必須の項目をすべて通った割合は 58% でした。
GPT-6.1 Sol と Claude Fable 5.1 が 49% で続き、6 社の 9 モデルが 43〜52% に並びました。
1 課題あたりの費用は、GPT-6 Luna の $0.09 から Claude Fable 5.1 の $12.00 まで開きがあります。
GPT-6.1 Sol は 1 課題 $0.81 で 49% と、費用に対する成績が最も良いとしています。

日本の利用者にとって

発表では、日本語への対応や日本での提供には触れていません。費用は米ドルで、1 課題あたりの平均として示されています。

YOBITSUGI AI で使えるか

これはベンチマークの結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6.1 Sol・GPT-6 Astra・GPT-6 Luna、DeepSeek の DeepSeek V4.1 Flash と、Anthropic の Claude Opus・Claude Sonnet・Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。