AI ニュースAI により執筆
Artificial Analysis、判断モデルの評価指標を公開
公開 2 分で読めます
AI モデルの評価を手がける Artificial Analysis は 10 月 13 日、「判断モデル(decision model)」を比べる指標「Artificial Analysis Decision Index v1.0」を公開しました。判断モデルは、決まった選択肢の中から答えを選び、選択肢ごとの確率を 1 回の呼び出しで返すモデルです。同社は、複雑な推論や長い作業に向けた言語モデルと比べて、速く安く判断できるのが特徴だとしています。
要点
- 指標は、知識と誤答の少なさ・推論・ツールの呼び出し・分類の 4 つの評価を 25% ずつ合わせたものです。
- 首位は Jev 1.13 の 58 で、GLiDE と Microsoft-Decision-1 が 54 で続きました。
- 100 万件の判断にかかる費用は $17〜$199、1 件の時間は 0.06〜0.5 秒でした。
- 判断モデルは、知識と推論の問題で、自分の答えの確率を実際の正答率より高く見積もる傾向がありました。
- 言語モデルでは Claude Haiku 5.5(Low)が 61 でしたが、1 件 1.4 秒・100 万件で $184 かかりました。
日本の利用者にとって
発表では、日本語への対応や日本での提供には触れていません。費用は米ドルで示されています。問い合わせの振り分けや有害な依頼の判定のように、選択肢が決まっている判断を大量に行う用途で、モデルを選ぶ目安になります。
YOBITSUGI AI で使えるか
これはベンチマークの発表です。結果に出ているモデルのうち、YOBITSUGI AI では Anthropic の Claude Haiku の系列と、OpenAI の GPT-6 Luna を使えます。Jev 1.13 などの判断モデルは、現時点では YOBITSUGI AI からは使えません。
出典
- Artificial Analysis Decision Index v1.0(Artificial Analysis Articles・2026年10月13日)
