本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

同じモデルでも提供元で正確さに差、103窓口中24が下回る

執筆・監修: 佐々木 航公開 更新 3 分で読めます

共有XFacebookLINEはてブ

重みが公開されたモデルは、多くの会社がAPIで提供しています。同じ名前のモデルでも、どの会社の窓口から呼ぶかで答えの正確さが変わるのか。第三者の評価会社Artificial Analysisは11月9日、提供元の窓口ごとの正確さを測る「Endpoint Accuracy Index」を版1.1に更新しました。6つの公開モデルの103の窓口を測ると、24の窓口は自社で正式な重みを動かした基準より、統計的にはっきり低い結果でした。

測り方

同じ3つの試験を、各窓口と基準の環境の両方で解かせます。道具の呼び出し(BFCL-500)、難しい問題の推論(HLE-250)、約10万トークンの長い文章の読み取り(AA-LCR-25)です。それぞれを基準の点に対する割合にし、3つを平均します。100なら基準と同じで、誤差の幅がまるごと100を下回ると「基準より低い」と判断します。基準は、各社の公式の重みを推奨の精度で、NVIDIAのB200などの上で動かしたものです。

さらに版1.1では、長い文章の試験のくり返しを10回から25回に増やし、誤差の幅を平均±4.7から±2.6ポイントに縮めました。正解の誤りも2問直したため、版1.0の点とはそのまま比べられません。測ったのは10月8日から11月4日です。

モデル窓口基準並み下回る
GLM-5.3261610
GLM-5.3 Flash22175
DeepSeek V4.1 Flash 101722220
gpt-oss-120b16115
Kimi K312102
Muse Spark Open532
合計1037924

「下回る」は、誤差の幅を含めても基準に届かない窓口の数です。

下回った原因は4つ

Artificial Analysisが見つけた原因は、次の4つに分かれます。

  • 出力の上限: 出力を1万6,000〜3万2,000トークンで打ち切る窓口では、長く考えている途中で答えが切れます。GLM-5.3では、上限1万6,384トークンの窓口のHLE-250が7.6%で、基準の63.6%を大きく下回りました。
  • 考える量が少ない: 同じ設定を頼んでも、推論のトークンが基準より約3割少ない窓口は、難しい問題の正答が減りました。
  • 道具の呼び出しの扱い: 引数の型を取り違える、文字の列として返す、名前を崩すといった扱いの違いで、道具の試験を落とします。Muse Spark Openの2つの窓口は、予約番号のような文字の引数を数として返しました。
  • 時間の打ち切り: 約10分でリクエストを切る窓口では、Kimi K3の難しい問題の約9%が答える前に終わりました。

一方で、重みを4ビット(FP4)に縮めて出す窓口はおおむね基準並みでした。GLM-5.3 Flashでは3窓口すべて、GLM-5.3では6窓口のうち5つが、8ビットの基準と統計的に同じ水準です。

読み取れること

11月11日には、OpenRouterが4ビットでも答えの質に差が見えなかったという検証を出しました。この評価の結果も、それと合います。正確さを落とすのは、精度の表示より、出力の上限や打ち切りの時間、道具の呼び出しの扱いといった、表から見えにくい設定です。

公開モデルをAPIで使うときは、料金と速さに加えて、窓口の出力の上限と打ち切りの時間を確かめておくと安心です。長く考えさせる使い方や、道具を何度も呼ぶエージェントでは、差が出やすいと分かったからです。Artificial Analysisは、原因が分かった窓口について提供元のページに注記を付けました。

YOBITSUGI AIで使えるか

この評価で測ったGLM-5.3、GLM-5.3 Flash、Kimi K3、Muse Spark Open、gpt-oss-120bは、YOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ