CWE-bench v2公開、Gemini 4 Argonが67.8%で首位

1回の挑戦で直せた課題は、最高でも67.8%でした。Collinear AIが11月3日にHugging Faceで公開したCWE-bench v2の結果です。エージェントに本物のオープンソースのリポジトリと短い指示を渡し、脆弱性を見つけて、ほかの機能を壊さずに直せるかを測ります。

公開の課題は100問で、脆弱性の種類を示すCWEを91種類含みます。採点はプログラムで自動に行うため、同じ結果をだれでも再現できます。モデルが見ていない非公開の課題も別に持っており、そちらの評価は個別の問い合わせが要ります。

首位の差は0.5点、費用の差は2倍

モデル動かした環境	1回で 合格	4回で 合格	1回の 費用
Gemini 4 ArgonAntigravity SDK	67.8%	81.0%	$3.92
Claude Opus 5.5Claude Code	67.3%	78.0%	$1.83
Muse WonderOpenCode	64.8%	79.0%	$2.54
GPT-6 AstraCodex	63.8%	70.0%	$3.86
DeepSeek V4.1 Flash (1017)OpenCode	57.0%	72.0%	$0.04
Grok 4.7OpenCode	55.5%	74.0%	$2.86
Hy4 PreviewOpenCode	52.0%	68.0%	$0.42
Mistral Large 4OpenCode	46.3%	59.0%	$0.36
Qwen 3.8 Max (0902)OpenCode	45.0%	62.0%	$2.05
GLM 5.3OpenCode	44.0%	65.0%	$0.60
Kimi K3.1 ProOpenCode	41.5%	63.0%	$0.92

Gemini 4 Argonは67.8%、Claude Opus 5.5は67.3%で、差は0.5ポイントです。一方、1回の費用はGeminiが3.92ドル、Opusが1.83ドルでした。DeepSeek V4.1 Flash（1017）は57.0%と10ポイント下がるものの、費用は0.04ドルです。Collinear AIは、この3つを費用と合格率の釣り合いが最も良いモデルとして挙げます。

4回まで試すと、順位は少し変わります。Muse Wonderは64.8%から79.0%に伸びてOpusを上回りました。Grok 4.7も55.5%から74.0%に上がります。GPT-6 Astraは63.8%から70.0%で、伸びは小さめです。

100問のうち95問は、どれかのモデルが解きました。ただ、首位のGemini 4 Argonでも、19%の課題は4回とも失敗しています。

読むときの注意

動かした環境は同じではありません。GeminiはAntigravity SDK、OpusはClaude Code、GPT-6 AstraはCodexで動かし、残りはOpenCodeです。そのため、表の差にはモデルだけでなく、環境の違いも含まれます。

Googleは10月に、Gemini 4 CarbonがCWE-benchで71.0%だったと発表しました。ただ、これは安全のための制限を外した状態の値で、今回の表にCarbonは入っていません。

ここからは編集部の見方です。脆弱性の修正をエージェントに任せるなら、今の数字は人の確認を省ける水準ではありません。自動で何度も試せる環境なら、安いモデルを数回試すほうが割安になる場合もありそうです。ただ、4回の費用と合格率の組み合わせは自社の課題で変わるため、公開の課題で試してから選ぶのが確実です。

データセットは条件への同意が必要で、Harborで動かします。発表は、日本語の指示での結果には触れていません。YOBITSUGI AIでは、Gemini 4 Argon、Claude Opus、GPT-6 Astra、Grok 4.7を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。