FrontierCode 2.0公開 首位のOpus 5.5でも45%

テストは通るのに、レビューで差し戻される。AIに任せたコードでは、よくある話です。

Devinを手がけるCognitionは10月27日、この「取り込める変更か」を測るコーディングの評価「FrontierCode 2.0」を公開しました。首位のClaude Opus 5.5でも45.5%。前の版の1.1では、8つのモデルが44〜55%に並んでいました。¹

課題を大きく、採点を厳しく

FrontierCodeは、20人を超えるオープンソースの開発者が、自分の保守するリポジトリから課題を作った評価です。1つの課題に40時間以上をかけています。採点は項目ごとの重みの合計で、必須の項目を1つでも落とせば0点。2.0では課題を集めたリポジトリが1.0より55%増え、セキュリティの修正や速さの改善も加わりました。お手本の解答が書き換えるファイルは平均67%、行数は89%多くなっています。

違うのは、上位の2つとそれ以外の差です。1.1では8つが11点ほどの幅に収まっていましたが、2.0ではGrok 4.7から下が30%に届きません。Cognition自身のSWE-2も6位でした。オープンなモデルにはまだ伸びしろがあり、欧米のオープンなモデルでは特に大きい、とCognitionはみています。

推論を深くすると、かえって下がることも

失敗でいちばん多かったのは、書かれていない要件の読み落としです。この種の必須項目で落ちた割合は19.2%で、分類の中で最も高い値でした。また、推論の設定を上げると点数が下がる場合もありました。正しいコードでも、頼まれていない変更を足すと減点されるためです。たとえばGPT-6 Astraは、AndroidのSDKの課題を低い設定では5回とも通しました。ところが高い設定では、公開しているクラスを消してしまうことが多かったのです。

ここからは編集部の見方です。正直なところ、この結果は日々の使い方にそのまま効きます。AIに直しを頼むときは、触ってよい範囲と消してはいけないものを先に書く。推論の設定も、高ければよいとは限りません。費用のわりに成績がよいのはGPT-6.1 Solだとしていますが、その点数は本文に載っていません。1.1の結果は、Artificial Analysisも別の仕組みで出しています（Artificial Analysis、FrontierCodeの結果を公開）。課題が難しくなったぶん、モデルの差が料金の差に見合うかを確かめやすくなったかもしれません。

YOBITSUGI AIでは、表にあるAnthropicのClaude Opus、OpenAIのGPT-6 Astra、GoogleのGemini 4 Argon、xAIのGrok 4.7、DeepSeekのDeepSeek V4.1 Flashを使えます。Muse WonderやKimi K3などほかのモデルは、現時点の対応モデルには含まれていません。