本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

判断モデルの評価がv2に 確信度の当たり具合も点に

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

履歴書や領収書を1枚読み、5つの判断と10の事実の読み取りを全部合わせられたら合格。評価の会社Artificial Analysisは11月8日、こうした新しい問題を加えた判断モデルの指標「Decision Index v2」を公開しました。判断モデルは、決まった選択肢から答えを選び、選択肢ごとの確率を返すAIです(v1の記事)。

v2では、答えが合っているかに加えて、確信度が当たっているかも点に入れます。判断モデルの首位はNace AIのDrex Max v1.1の73で、Fastino LabsのGLiDE v1.2(73)とBasetenのMammoth 27B(72)が1点差に並びました。

確信度の当たり具合も採点する

新しい総合の点「Decision Score」は、1問ごとに0〜100点を付けます。正解なら50点より上、不正解なら50点より下で、選んだ答えへの確信度によって、それぞれの半分の中で点が動きます。

判断モデルの答えは、確信度がある線を超えたときだけ使い、超えなければ人や別のモデルに回すのがふつうです。Decision Scoreは、その線をどこに引いても平均でどれだけ得をするかを表します。そのため、線の位置を決めなくても比べられます。

確信度を入れると、並びも変わります。正答率だけならGLiDEがDrex Maxを上回りますが(60対58)、総合ではDrex Maxがわずかに上でした。

問題の45%を非公開のデータに

v2では、指標の45%を公開していないデータで作りました(v1は25%)。実際の使い道に近づけ、ベンチマークに合わせた調整を防ぐためだとしています。

いちばん大きいのは、新しく加わったAA-Paperclip(30%)です。履歴書や領収書、請求書、AIの論文など1,500の書類を読み、書類ごとに15問すべてが正しいときだけ正解とします。もう1つのAA-Symmetry(15%)は、言い方を変えた同じ問いに、同じように答えるかを見ます。選択肢の順番の入れ替えや、はい・いいえの問いを打ち消しの形にするなどの変え方です。

知識と推論の評価は25%から15%ずつに下がり、「分からない」の選択肢の言い方を10通りに変えました。また、NVIDIAのWhen2Callは10%に下がり、ほとんどのモデルが満点近くになった有害かどうかの判定(WildGuardTest)は外れました。

書類の全問正解では、言語モデルが上

AA-Paperclipでは、Claude Haiku 5.5(Max)が92%の書類で全問正解し、GPT-6 Luna(Max)は86%でした。判断モデルでは、Drex Maxの63%が最も高い値です。

Drex Maxは、1問ずつなら97%に正しく答えていて、Claude Haiku 5.5の99%と大きな差はありません。ですが、15問すべてをそろえると差が開きます。判断モデルが落としたのは、主に事実の読み取りより判断のほうでした。

総合でも、言語モデルの点は高めです。Claude Haiku 5.5(Max)は77、GPT-6 Luna(Max)は76で、Drex Maxを3点ほど上回りました。ただ、100万件あたりの費用は、GPT-6 Luna(Max)が1,530ドルです。Drex Maxの102ドルの15倍にあたります。1件の時間も11.34秒と275ミリ秒で、約40倍かかります。

費用は、入力の数え方でも変わる

判断モデルの100万件あたりの費用は、Celeris-1.1 Decisionの14ドルからClefの859ドルまで、60倍を超える開きがあります。

しかも、費用はトークンの単価だけでは決まりません。Drex MaxやDeciderは、1つの書類の入力を、すべての問いでまとめて1回だけ数えます。一方、GLiDEとDecider Flashは問いごとに書類を読み直し、そのたびに入力を数えます。

そのため、AA-Paperclipの1件の入力は、Drex Maxなら約9,000トークン、GLiDEなら約6.3万トークンです。GLiDEの費用は780ドルで、単価は33%高いだけなのに、Drex Maxの8倍近くになりました。

日本の利用者にとって

問い合わせの振り分けや書類の確認のように、同じ形の判断を大量にこなす仕事なら、判断モデルは費用と速さで有利です。ただ、v2の点はv1と測り方が違うため、10月の数字とは比べられません。

また、1つの書類に多くの問いを投げる使い方では、単価より入力の数え方で費用が大きく変わります。選ぶ前に、料金の数え方も確かめておくとよいでしょう。評価に使った書類や問いの言語は、発表に書かれていません。日本語での成績は、この結果からは分かりません。

YOBITSUGI AIで使えるか

点の高かった言語モデルのうち、GPT-6 Lunaは、YOBITSUGI AIでも使えます。YOBITSUGI AIではClaude Haikuの系列も使え、選べるモデルはアプリのモデルの選択欄で確認できます。Drex MaxやGLiDE、Mammoth 27Bなどの判断モデルは、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ