本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Gemini Decision 1公開、音声や動画も判定する判断モデル

執筆・監修: 佐々木 航公開 更新 7 分で読めます

共有XFacebookLINEはてブ

問い合わせをどの窓口に回すか、写真の荷物に傷があるか。答えが選択肢のどれかに決まる判断を、文章を書かずに確率で返す「判断モデル」に、Googleも加わりました。Googleは11月11日、判断モデルGemini Decision 1と、これを呼び出すGemini APIの新しい窓口Decisions APIを公開しました。文章、画像、音声、動画、PDFをそのまま読み、1回の依頼で最大1,000個の問いに答えます。

文章を書かずに、確率で答える

判断モデルは、答えを1字ずつ生成する代わりに、決まった選択肢それぞれの確からしさを1回の計算で出します。10月にOpenAIやMicrosoftなどが相次いで出した種類のモデルです(判断モデルの公開が相次ぐ、OpenAIやMicrosoftも)。

Gemini Decision 1の問いの型は3つあります。はい・いいえの確率を0.01〜0.99で返す型、2〜255の選択肢から1つを選ぶ型、2〜255段の基準で点を付ける型です。どの答えにも0〜1の確信度が付くので、確信度が低いものだけを人の確認や別のモデルに回す、という分け方をコードで書けます。

共通の入力は26万2,144トークンまで送れ、問いどうしは互いに見えないまま同時に採点されます。入力が1万6,000トークンまでなら、計算の時間の中央値は50〜100ミリ秒、送ってから返るまででも150〜250ミリ秒です。問いが1個でも100個でも、時間はほとんど変わらないといいます。

Googleの比較では、9つの試験のうち7つで首位

Googleは、TypeSafeの判断モデルJev 1.14、OpenAIのDecisions APIで使うGPT-6 Luna、文章を生成するGemini 3.5 Flash-Liteと比べた結果を出しました。Gemini Decision 1は9つの試験のうち7つで最も高く、確信度と実際の正答率のずれ(ECE)も0.0250といちばん小さい値です。日本語を含む英語以外の言語の知識問題では86.0%で、GPT-6 Lunaの79.6%を上回りました。

試験Gemini Decision 1Jev 1.14GPT-6 LunaGemini 3.5 Flash-Lite
判断全般92.2%90.0%90.9%86.6%
商品検索の関連度58.7%56.7%54.7%47.2%
面白い説明文選び79.7%72.0%68.4%73.7%
医学論文の問い79.8%78.2%74.4%77.6%
英語以外の知識86.0%85.0%79.6%78.8%
Web操作の次の一手86.2%86.8%81.8%78.0%
ツールを呼ぶかの判断79.9%82.0%70.4%60.9%
確信度のずれ0.02500.04940.07210.2104
7つの試験の費用$0.88$0.68$0.93$4.14

Googleの11月11日の発表の表から。試験は上から順にJevBench、Amazon ESCI(Macro-F1)、New Yorker Caption(文章だけ)、PubMedQA、Global-MMLU-Lite、Mind2Web Multimodal、When2Call。確信度のずれ(Top-1 ECE)は共通の7つの試験での値で、小さいほど良い。GPT-6 LunaはOpenAIのDecisions API、Gemini 3.5 Flash-Liteは文章を生成するInteractions APIで測った値です。

一方で、Web操作の次の一手を選ぶ試験と、ツールを呼ぶべきかを判断する試験では、Jev 1.14が上でした。共通の7つの試験の費用も、Jev 1.14は0.68ドルで、Gemini Decision 1の0.88ドルより安く済みました。音声の理解を測るMMAUは71.8%、字幕なしの動画の理解を測るVideo-MMEは69.1%でしたが、この2つを比べられた相手は、Gemini 3.5 Flash-Liteの67.7%と63.3%だけでした。

第三者の測定では、判断モデル18のうち9番目

Artificial Analysisが判断モデルを横並びで測る指標、Decision Index v2.1にも、Gemini Decision 1はすでに載っていました(11月12日朝の時点)。点は66.0で、判断モデル18のうち9番目でした。首位のDrex Maxの72.6には6点ほど届かず、Jevの66.2とほぼ並びます。それでも、OpenAIのGPT-6 Luna(Decisions API)の60.2は上回りました。

モデル指標100万件の費用1件の時間
Drex Max v1.172.6$103283ミリ秒
Jev 1.1466.2$15692ミリ秒
Gemini Decision 166.0$345211ミリ秒
GPT-6 Luna60.2$339206ミリ秒
Claude Haiku 5.567.2$8613.0秒

Artificial Analysis Decision Indexの11月12日朝の値。指標は100点満点で、確信度の当たり具合も採点に入ります。GPT-6 LunaはOpenAIのDecisions APIで測った値。いちばん下の行は、比べるために載っている文章を生成する言語モデル(考える量はLow)です。

100万件を判断させる費用は345ドルで、GPT-6 Lunaの339ドルとほぼ同じです。これは、Drex Maxの103ドルやJevの156ドルの2〜3倍にあたります。この指標の採点の仕方は、判断モデルの評価がv2に 確信度の当たり具合も点にで読めます。

料金と、使える場所

料金は入力100万トークンあたり0.10ドルです。出力は常に0トークンなので、出力の料金はかかりません。共通の入力の料金は、問いの数にかかわらず、1回の依頼で1回分だけです。Google AI Studioでは無料の枠も使えますが、無料の枠で送った内容はGoogleの製品の改善に使われます。無料の枠の上限は、1分に200回、1日に1万回です。

ただし、キャッシュの割引、Batch API、Flexや優先の処理には対応していません。同じ長い入力を何度も送ると、毎回すべてが数えられます。キャッシュで入力を割り引けるOpenAIのDecisions APIとは、ここが違います。使えるのはGemini Developer APIのv1betaだけで、OpenRouterやLangChain、Vercelなどでの対応は順に広げるとしています。

読み取れること

Googleの表と第三者の測定では、見え方が違います。Googleの表では9つのうち7つで首位でしたが、Artificial Analysisの総合点ではJev 1.14とほぼ同じで、費用は2倍を超えます。発表した会社が選んだ試験より、同じ条件で並べた第三者の点のほうが、総合の順位の目安には向いています。

それでも、選ぶ理由はあります。Googleが比べた相手のうち、音声と動画の試験を受けられたのは、文章を生成するGemini 3.5 Flash-Liteだけでした。通話の録音と顧客の情報を合わせて振り分ける、写真と書類から保険の請求を確かめる、といった使い方なら、文字起こしやOCRを別に通す手間と費用が要りません。反対に、文章だけを振り分けるなら、より安い判断モデルと並べて試すのがよさそうです。

日本語の資料での正確さは、Googleも示していません。無料の枠で試すときは、お客さまの情報を送らないよう気をつけてください。

YOBITSUGI AIで使えるか

Gemini Decision 1は、YOBITSUGI AIでは使えません。YOBITSUGI AIで使えるGoogleのモデルは、Gemini 4 ArgonとGemini 3.8 Flashです。

出典

共有XFacebookLINEはてブ