本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Gemini 3.8 Flash、思考LOWで費用半減 全問正解のまま

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

出力トークンの上限を300に絞れば、Geminiの費用は下がるのでしょうか。Googleは11月3日、コーディングエージェントの課題50問をGeminiの設定ごとに解かせた結果を公開しました。簡単な課題27問では、上限を4096から300に絞っても費用は下がりませんでした。

下がったのは、思考レベルを指定したときです。Gemini 3.8 Flashの思考レベルをLOWにすると、50問すべてに正解したまま、費用は既定の設定の半分以下になりました。

50問の費用と正解の数

設定正解費用50問応答平均
3.8 Flash既定の設定50$0.055353.08秒
3.8 Flash思考LOW50$0.026323.55秒
3.8 Flash出力の上限30043$0.044043.57秒
3.5 Flash-Lite44$0.006480.61秒
3.1 Pro48$0.319707.94秒
Jevで振り分けFlash-Liteと思考LOW50$0.022871.90秒
語句で振り分けFlash-Liteと思考LOW48$0.019271.90秒
常に正しい振り分け比べるための計算上の値50$0.022101.79秒

費用は思考トークンを含む請求額で、50問の合計です。正解の数は50問のうちの数で、難易度は人が付け、採点は簡単な自動の判定です。

出力の上限は、思考を減らさない

上限はあくまで天井で、簡単な課題の答えはそこまで届きません。簡単な27問の思考トークンは、上限4096で平均179.7、上限300で平均185.6とほぼ同じでした。費用も0.01957ドルと0.02018ドルで、上限300のほうがわずかに高くなりました。

一方で、難しい25問のうち7問は上限のせいで失敗しました。6問は推論の途中で枠を使い切って答えを返せず、残りの1問は推論を詰めて間違えました。50問の合計で上限300が既定より安いのは、途中で切れた分が含まれるためと見られます。

同じ27問を思考LOWで解くと、思考トークンは平均35.3に減り、費用は0.00496ドルでした。そのためGoogleは、まず思考レベルを thinkingLevel: "LOW" で直接指定するよう勧めます。

振り分けるなら、軽い判断モデルに1問ずつ聞く

Googleは、課題を解かせる前に、TypeSafeの判断モデルJevで難しさを見分ける方法も試しました。判断モデルは、文章を書かずに選択肢ごとの確率を返すモデルです。詳しくは判断モデルとは?で説明しました。Jevが難しいとした課題だけを3.8 Flashの思考LOWに回すと、50問すべてに正解し、応答は3.55秒から1.90秒に縮みました。費用も、常に正しく振り分けたときに近い値です。

コツは聞き方です。「簡単か、複雑か」と広く聞くと、Jevはほぼすべてを簡単と答えます。「答えるのに2段階以上の計算や推論が要るか」とはいか、いいえで聞けば、見分けられるようになりました。

正規表現と文章の長さで見分ける方法は、規則を作るのに使った16問なら93.8%が一致します。しかし、初めて見る34問では70.6%に落ちました。Jevは同じ34問をすべて言い当てました。なお、GoogleはTypeSafeと提携しておらず、Jevは例として使っただけだとしています。自社の環境で動かせるDiffusionGemmaでも、同じ形の振り分けを作れます。

そのまま当てはめる前に

Google自身も、制限を明記しました。各設定を1回ずつ動かした結果で、短い課題50問だけです。ベンチマークのコードは、確認のあとで公開するとしています。

実際のエージェントでは、キャッシュとぶつかります。Agent Platform Context Cachingは同じ文脈を送り直す費用を75〜90%下げますが、キャッシュはモデルごとです。ターンごとにモデルを切り替えると、キャッシュを2つ持つか、割引を失います。そのためGoogleは、ログの解析のような短く完結する課題だけを振り分け、文脈の長いターンは1つのモデルに置くよう勧めます。

Gemini 3.1 Proの48問という結果は、難しさとは別の理由でした。Flashが答えた短いコードのセキュリティレビューを、2問断ったのです。セキュリティレビューを任せるなら、使う設定で試しておく必要があります。

ここからは編集部の見方です。この検証の費用の差は、50問で数セントです。Googleも、短い課題では費用より応答の短さが大きな利点だと見ています。Geminiを既定のまま大量に呼んでいるエージェントなら、振り分けの仕組みを作る前に、思考レベルの指定を1行足して、自社の課題で正解の数を比べるのが手軽でしょう。発表は、日本語の課題での結果には触れていません。

YOBITSUGI AIでは、GoogleのGemini 4 ArgonやGemini 3.8 Flashなどを使えます。今回の検証に出てきたGemini 3.5 Flash-LiteとGemini 3.1 Pro、振り分けに使ったJevは、現時点の対応モデルには含まれていません。

出典

共有XFacebookLINEはてブ