本文へ移動
YOBITSUGI AIメディア
比較人が監修しながらAIを活用して執筆

判断モデルとは? 言語モデルと比べた得意な仕事と費用

執筆・監修: 佐々木 航公開 更新 11 分で読めます

共有XFacebookLINEはてブ

AIに問い合わせの振り分けや投稿の判定を任せるなら、いちばん賢い言語モデルを選べばよいのでしょうか。依頼が有害かどうかを見分ける評価で最も高い点を出したのは、Claude Opus 5.5ではなく、Nace.AIのDrex Maxという、文章を書かない「判断モデル」でした。

判断モデルは、決まった選択肢の中から答えを選び、選択肢ごとの確率を返すAIです。10月にはOpenAIやMicrosoft、Liquid AIなどが相次いで出しました(判断モデルの公開が相次ぐ、OpenAIやMicrosoftも)。評価の会社Artificial Analysisが11月3日時点で公開している、20の判断モデルと15の言語モデルの設定の結果で、仕事の種類ごとの得意と苦手を比べられます。1

選んだ答えだけでなく、全部の選択肢に確率を付ける

問い合わせ

先月分が二重に引き落とされています。
今日中に返金してほしい

問い1:担当は?(請求・技術・アカウント)
問い2:急ぎか?(はい・いいえ)

言語モデル

担当:請求
急ぎ:はい

決めた形式で、選んだ答えだけを返す。答えの文字にも料金がかかる

判断モデル

担当
請求
技術
アカウント
急ぎか
はい
いいえ

1回の呼び出しで、すべての問いのすべての選択肢に確率を付ける。料金は入力の分だけ

棒の長さは、形を示すための例です

言語モデルに振り分けを頼むと、決めた形式で選んだ答えだけが返り、どれくらい確かなのかは分かりません。判断モデルは、選ばなかった答えも含めて確率を返します。問いの形は、はいかいいえ、示した選択肢から1つ、順序のある段階の3つが基本です。確率が分かるので、自信が低い答えだけ人に回す、といった使い方ができます。

分類とツールの判断では、上位の言語モデルを上回る

モデル分類ツール知識推論
判断モデル
Drex Max(Nace.AI)95.594.027.616.0
d1-ultra(Liquid AI)95.492.631.615.0
SubQ Snap 1.1(Subquadratic)94.994.620.217.5
elephant-1(Baseten)93.394.811.618.3
Decider v1.2(Perplexity)94.487.739.414.6
Jev 1.14(TypeSafe)93.180.833.818.9
Decisions API(OpenAI)82.874.140.611.7
言語モデル
Claude Opus 5.5(Max)93.590.593.470.2
GPT-6.1 Sol(Low)92.080.693.055.4
Claude Haiku 5.5(Low)92.672.652.423.6
GPT-6 Luna(Low)88.577.066.022.2

表の4つは、Artificial Analysisの総合の点を作る評価です。分類は、依頼や返答が有害かどうかを見分ける評価です。ツールは、会話の流れから、ツールを呼ぶか、聞き返すか、そのまま答えるかを選ぶ評価です。2

分類とツールでは、上位の判断モデルがClaude Opus 5.5(Max)と同じか、それ以上の点を出しました。差が開くのは知識と推論です。知識の正答率は、Opus 5.5の93.4%に比べ、表の判断モデルは11.6〜40.6%にとどまります。

点の高さには「分からない」と答える力も入る

総合の点(Decision Index)は、4つの評価を25%ずつ合わせたものです。そのうち知識の評価は、正答率と、正しく答えられなかった問いで「分からない」を選んだ割合を、半分ずつ数えます。

elephant-1は、知識の正答率が11.6%と低い一方で、正しく答えられなかった問いの93.2%で「分からない」を選び、総合では64.7点になりました。Opus 5.5(Max)のこの割合は30.3%です。振り分けの仕事なら、分からない問いを人に回せるので、役に立つ性質です。

ただ、確率の大きさと実際の正しさが合っているかは、別に見る必要があります。Artificial Analysisは指標の公開の時点で、判断モデルは知識と推論の問いで自信が高すぎがちで、分類とツールの問いでは比較的合っていたとしています。

100万件で8〜199ドル、1件は0.5秒以内

判断モデル(20)言語モデルの設定(15)

判断モデルと言語モデルの、評価の点と100万件あたりの費用横は費用(対数の目盛り)、縦はArtificial Analysis Decision Indexの点。判断モデル20個は8〜199ドルに集まり、言語モデルは88〜51,295ドルに広がる 40 50 60 70 80 $10 $100 $1,000 $10,000 100万件あたりの費用(対数の目盛り) Claude Haiku 5.5 (Max)(Anthropic):68.4点・$2,073.2 Claude Haiku 5.5 (High)(Anthropic):62.6点・$292.2 Claude Haiku 5.5 (Low)(Anthropic):60.6点・$184.3 Claude Haiku 5.5 (Medium)(Anthropic):61.4点・$232.4 Claude Haiku 5.5 (Xhigh)(Anthropic):64.4点・$493.1 Claude Opus 5.5 (Max, Default Fallback)(Anthropic):79.0点・$51,294.9 Claude Opus 5.5 (Low, Default Fallback)(Anthropic):75.4点・$6,688.2 Gemma 4 31B (Reasoning)(Google):55.5点・$624.4 GPT-6.1 Sol (Max)(OpenAI):70.9点・$6,322.9 GPT-6.1 Sol (Low)(OpenAI):71.5点・$2,048.3 GPT-6 Luna (Max)(OpenAI):60.8点・$591.6 GPT-6 Luna (High)(OpenAI):59.1点・$234.3 GPT-6 Luna (Low)(OpenAI):55.2点・$131.0 GPT-6 Luna (Medium)(OpenAI):58.2点・$181.8 GPT-6 Luna (Non-reasoning)(OpenAI):49.6点・$88.4 Elephant 9B(Baseten):64.7点・$8.4 Celeris-1 Decision(Celeris):52.3点・$31.6 Clef(Cloudflare):48.6点・$199.4 Clef-Flash(Cloudflare):45.8点・$31.6 Clef-Omni(Cloudflare):44.3点・$123.1 GLiDE(Fastino):53.9点・$119.0 Mercury Decide(Inception):52.7点・$15.2 d1(Liquid AI):50.3点・$15.1 d1-ultra(Liquid AI):65.2点・$31.8 Drex Max(Nace.AI):63.7点・$23.0 Drex 1.5(Nace.AI):50.7点・$34.5 Drex 2.0(Nace.AI):57.9点・$41.4 GPT-6 Luna (Decisions)(OpenAI):48.5点・$78.9 Microsoft-Decision-1(Microsoft):53.8点・$30.7 Decider Flash v1.2(Perplexity):50.2点・$8.2 Decider v1.1 27B(Perplexity):53.1点・$16.5 Decider v1.2(Perplexity):56.2点・$15.1 SubQ Snap 1.1(Subquadratic):65.0点・$30.3 Jev 1.13(TypeSafe):57.5点・$41.5 Jev 1.14(TypeSafe):57.1点・$41.5 Haiku 5.5(Xhigh) Opus 5.5(Max) elephant-1 d1-ultra Luna(Decisions API)
35の数字の表
モデル点100万件1件
Claude Opus 5.5(Max)・言語79.0$51,294.93.57秒
Claude Opus 5.5(Low)・言語75.4$6,688.21.87秒
GPT-6.1 Sol(Low)・言語71.5$2,048.32.89秒
GPT-6.1 Sol(Max)・言語70.9$6,322.94.43秒
Claude Haiku 5.5(Max)・言語68.4$2,073.22.66秒
d1-ultra(Liquid AI)・判断65.2$31.80.09秒
SubQ Snap 1.1(Subquadratic)・判断65.0$30.30.19秒
elephant-1(Baseten)・判断64.7$8.40.17秒
Claude Haiku 5.5(Xhigh)・言語64.4$493.11.55秒
Drex Max(Nace.AI)・判断63.7$23.00.35秒
Claude Haiku 5.5(High)・言語62.6$292.21.48秒
Claude Haiku 5.5(Medium)・言語61.4$232.41.53秒
GPT-6 Luna(Max)・言語60.8$591.62.25秒
Claude Haiku 5.5(Low)・言語60.6$184.31.43秒
GPT-6 Luna(High)・言語59.1$234.31.80秒
GPT-6 Luna(Medium)・言語58.2$181.81.73秒
Drex 2.0(Nace.AI)・判断57.9$41.40.25秒
Jev 1.13(TypeSafe)・判断57.5$41.50.13秒
Jev 1.14(TypeSafe)・判断57.1$41.50.08秒
Decider v1.2(Perplexity)・判断56.2$15.10.21秒
Gemma 4 31B(Reasoning)・言語55.5$624.414.39秒
GPT-6 Luna(Low)・言語55.2$131.01.50秒
GLiDE(Fastino)・判断53.9$119.00.22秒
Microsoft-Decision-1(Microsoft)・判断53.8$30.70.21秒
Decider v1.1 27B(Perplexity)・判断53.1$16.50.17秒
Mercury Decide(Inception)・判断52.7$15.20.50秒
Celeris-1 Decision(Celeris)・判断52.3$31.60.06秒
Drex 1.5(Nace.AI)・判断50.7$34.50.19秒
d1(Liquid AI)・判断50.3$15.10.30秒
Decider Flash v1.2(Perplexity)・判断50.2$8.20.11秒
GPT-6 Luna(Non-reasoning)・言語49.6$88.41.14秒
Clef(Cloudflare)・判断48.6$199.40.31秒
Decisions API(OpenAI)・判断48.5$78.90.17秒
Clef-Flash(Cloudflare)・判断45.8$31.60.30秒
Clef-Omni(Cloudflare)・判断44.3$123.10.17秒

同じ評価を100万件こなす費用は、判断モデルが8.2〜199.4ドル、言語モデルの設定は88.4〜51,294.9ドルでした。1件にかかる時間の中央値は、判断モデルが0.06〜0.5秒、言語モデルは1.1〜14.4秒です。3

点が近いもので比べると、elephant-1(64.7点)は約8ドルで0.17秒、推論をXhighにしたClaude Haiku 5.5(64.4点)は約493ドルで1.5秒でした。

答えの形が決まっていれば、判断モデルから試す

ここからは編集部の見方です。問い合わせの振り分け、迷惑な投稿の判定、エージェントがツールを呼ぶかの判断のように、答えが選択肢で決まり、件数が多い仕事なら、判断モデルから試す価値がありそうです。製品の仕様や法律のような知識が要る問い、手順を組み立てる推論が要る問いは、言語モデルに任せるほうが確実です。

日本語での性能は、どの会社も示していません。Artificial Analysisの評価も、日本語の問いでの点は出していません。日本語の問い合わせに使うなら、過去の問い合わせ数百件で正答率と自信の当たり具合を測り、自信が低いものだけ言語モデルか人に回す形から始めるのがよいかもしれません。各社の料金と提供の形は判断モデルの公開が相次ぐ、OpenAIやMicrosoftも、Basetenの3つの大きさの違いはjoey-1の記事で比べられます。

表の判断モデルは、OpenAIのDecisions APIも含めて、現時点のYOBITSUGI AIの対応モデルには含まれていません。YOBITSUGI AIでは、表のClaude Opus 5.5やClaude Haiku 5.5、GPT-6 Lunaのような言語モデルに、振り分けや分類を頼めます。

出典

注

  1. 点・費用・時間は、2026年11月3日にArtificial Analysisの指標のページで確かめた値です。言語モデルは、推論の強さなどの設定ごとに別に数えています。elephant-1は「Elephant 9B」、Decisions APIは「GPT-6 Luna(Decisions)」の名前で載っています。 ↩

  2. 分類はAi2のWildGuardTestで、依頼が有害か、返答が断りか、返答が有害かの3つの問いのF1の平均です。ツールはNVIDIAのWhen2Callの正答率、知識はArtificial Analysisが作った500問のAA-Omniscience-Decisionの正答率、推論はHumanity's Last Examの選択式の513問の正答率です。 ↩

  3. 費用は、今のトークンの単価で出した1件あたりの平均を100万倍した値です。判断モデルは入力だけ、言語モデルは入力と出力に料金がかかります。時間は、すべての問いでの中央値です。 ↩

共有XFacebookLINEはてブ