本文へ移動
YOBITSUGI AIメディア
AI ニュースAI により執筆

Google、Gemini 4 Carbonを発表 総合指標で首位に

公開 更新 5 分で読めます

共有XFacebookLINEはてブ

総合指標で首位に立った新しいGeminiは、いつ使えるのでしょうか。

Googleは10月28日(米国時間)、Gemini 4 Carbonを発表しました。2週間前に出したGemini 4 Argonの上に位置づける、同社でいちばん強いモデルです。Artificial Analysisの総合指標v5では59で、前日に首位だったClaude Opus 5.5の58を上回りました。とくに力を入れたのは、サイバー攻撃を防ぐ仕事と、何日もかかる長い作業です。

答えは、まだ先です。今週から、まずサイバー防御を担う一部の組織に提供し、政府や医療、通信などの組織が入るFairwind Programの枠で、少しずつ広げます。開発者や企業、一般の利用者には「できるだけ早く」出すとしていて、時期は示していません。APIの料金は、導入価格で100万トークンあたり入力2ドル、出力10ドルです。Argonの導入価格と同じで、期間が終わると入力4ドル、出力20ドルになります。1

脆弱性を見つけ、試し、直す

Googleが強調するのは、脆弱性を見つける、悪用できるか確かめる、直す、の3段階です。実際のソフトの脆弱性を探すSEC-bench Proで88.2%、悪用できるかを試すExploitGymで54.8%、原因から直すCWE-benchで71.0%と、いずれも最高の値でした。社内の評価では、安全なコードを書けた割合がArgonの2倍を超えています。ChromeのチームはCarbonの修正を、ほかの会社の大型モデルより10倍以上よいと評価しました。2

Artificial Analysisの評価では、強みと弱みが分かれました。

指標 Carbon / Opus 5.5
総合指標 59 / 58
コーディングエージェント 59 / 62
知識と幻覚 54 / 48
1課題の費用 $7.76 / $10.04

違いが目立つのは、知識の問題です。正しく答えた割合はArgonより10ポイント上がって58%になりました。そのかわり、知らないことをもっともらしく答える割合は4%から11%に増えています。それでも、Claude Opus 5.5とGPT-6 Astraの50%よりはずっと低い値です。3

ごまかしと先回りを減らした

長い作業を任せるほど、AIが近道をしたり、頼まれていないことまで進めたりする心配が増えます。Carbonでは、Terminal-Bench 4.0で不正に点を取れた例が0件になり、試みも0.4%に減りました。社内のチームが使った場面では、意図からずれた動きへの重い警告が8割近く減っています。頼まれた範囲を越える動きは26%、やるべきことをやり残す例は29%減りました。外部の文書に仕込んだ指示に従わせる攻撃は、評価したものをすべて防いでいます。4

手が届くのは少し先(編集部の見方)

正直なところ、多くの人がこのモデルを試せるのはまだ先です。脆弱性を見つけて悪用まで試せる力は、防御に役立つぶん、悪用されたときの害も大きくなります。まず防御側に限って渡すのは、その心配を見込んだ順番でしょう。コーディングを任せるなら、いまもClaude Opus 5.5がわずかに先を行きます。Carbonは、同じくらいの賢さを2割ほど安い費用で出せる点が強みです。開発者や企業向けの時期、導入価格が終わる時期、日本語の性能はまだ示されていません。一般に開かれたら、Argonとの差がいちばん出るのは、何日もかかるような長い作業かもしれません。

YOBITSUGI AIでは、GoogleのGemini 4 ArgonとGemini 3.8 Flashを使えます。今回発表されたGemini 4 Carbonは、現時点の対応モデルには含まれていません。

出典

注

  1. 米国政府が行う、公開前のモデルの試験にも参加しているとしています。キャッシュした入力は、入力の料金の95%引きです。Artificial Analysisは、導入価格を「50%の割引で、終わる日は未定」と説明しています。Fairwind Programの提携先は、世界で650を超えます。 ↩

  2. どの評価も、安全のための制限を外した状態での値です。社内の評価の詳しい条件や、比べた「ほかの会社の大型モデル」の名前は示されていません。モデルが作ったウェブアプリを人が比べるWebDev Arenaでは、89点上がって1768で4位です。セキュリティの会社Wizも、ウェブの侵入テストの評価でCarbonが首位だったとしています。 ↩

  3. 表はArtificial Analysisの値です。Carbonはhighの設定、Opus 5.5はmaxの設定です。コーディングエージェントは、CarbonをAntigravity CLIで、Opus 5.5をClaude Codeで動かした値です。知識と幻覚はAA-Omniscience v1.1の値です。費用は標準の料金(入力4ドル、出力20ドル)で計算した、総合指標の課題1つあたりの額です。GPT-6 Astra(max)の$6.25よりは約1.2倍高く、Gemini 4 Argonの$7.68とほぼ同じです。総合指標の9つの評価のうち、4つで首位でした。文書や資料を作る仕事を測るAA-Briefcaseは1609で、Argonより126上がったものの、首位ではありません。 ↩

  4. 根拠のない主張は、Argonの約半分に減ったとしています。外部の文書に仕込んだ指示に従わせる攻撃は、Gray SwanのIndirect Prompt Injection Benchmarkで測った値です。攻撃が通った割合は、Argonの0.7%から0.0%になりました。 ↩

共有XFacebookLINEはてブ