Artificial Analysis、サイバー防御の評価指標を公開

公開 2026年10月19日 18:164 分で読めます

AI モデルの評価を手がける Artificial Analysis は 9 月 28 日、企業のサイバー防御の作業を AI のエージェントがどれだけこなせるかを測る指標「Artificial Analysis Cyber Index」を公開しました。ソースコードから脆弱性(セキュリティ上の弱点)を見つけ、再現して確かめ、ほかの機能を壊さずに直すまでを評価します。攻撃に使うコード(エクスプロイト)は作らせません。同時に、指標の設計に協力する企業の集まり「Cyber Index Alliance」も立ち上げました。

要点

指標は CWE-Bench-AA・DeepsecBench-AA・CyberGym-E2E-AA の 3 つの評価を合わせたものです。
協力するのは Collinear AI・IBM・NVIDIA・Vercel で、2 社は非公開の評価データを出しました。
公開時は Grok 4.7 と MiMo-V2.6-Pro が 56% で最も高く、GPT-6 Luna が 53% で続きました。
GPT-6 Astra など 6 モデルは、CyberGym-E2E-AA の課題の 98% 以上を断りました。
10 月 8 日、OpenAI の Daybreak でだけ使える GPT-6 Sol(Daybreak Blue)を加えました。
Daybreak Blue 版は首位になり、一般向けの GPT-6 Sol より 32 ポイント高い点数でした。
1 課題の費用は、Daybreak Blue 版が $1.77、Grok 4.7 が $11.67 でした。

CWE-Bench-AA は Collinear AI の評価をもとにしたもので、実在のオープンソースのリポジトリを監査して直す、非公開の 120 件の課題です。断りと時間切れを除く失敗のうち 55% は、主な問題は直したものの関連する別の弱点を残したものでした。DeepsecBench-AA は Vercel の評価をもとに、専門家が確かめた脆弱性をどれだけ見つけられるかを測り、最も良いモデルでも見つけたのは 41% でした。CyberGym-E2E-AA は Berkeley RDI の評価をもとに、C/C++ のプロジェクトのメモリーの扱いの不具合を見つけ、再現し、直す 131 件の課題です。断ったモデルは、GPT-6 Astra・GPT-6 Sol・Claude Fable 5.1・Claude Opus 5.5 と Qwen3.8 の 2 つで、最先端のモデルの力を測りにくくなっているとしています。サイバーの技術は攻撃にも使えるため、モデルや提供元が安全上の理由で課題を断った割合は、点数とは別に示しています。

10 月 8 日には、サイバーの安全の制限を緩めた限定提供のモデルも指標に加えると発表しました。最初の GPT-6 Sol(Daybreak Blue)は、指標全体で安全上の理由で断った課題が無く、一般向けの GPT-6 Sol との差は、断りが最も多かった CyberGym-E2E で最も大きかったとしています。今後も、一般に使えるモデルと限定提供のモデルの両方を加えていくとしています。公開モデルと非公開モデルのサイバーの力の差については、Epoch AI、公開モデルはサイバーの能力で 6〜7 か月遅れと分析にまとめています。

日本の利用者にとって

発表では、日本語への対応や日本での提供には触れていません。費用は米ドルで示されています。セキュリティの作業に使うモデルを選ぶ人の判断を助けるための指標だとしています。

YOBITSUGI AI で使えるか

これはベンチマークの結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では xAI の Grok 4.7、OpenAI の GPT-6 Astra・GPT-6 Luna、Google の Gemini 3.8 Flash、DeepSeek の DeepSeek V4.1 Flash と、Anthropic の Claude Opus・Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。限定提供の GPT-6 Sol(Daybreak Blue)は、現時点の対応モデルには含まれていません。