同じモデルでも提供元で正確さに差、103窓口中24が下回る
執筆・監修: 佐々木 航公開 更新 3 分で読めます
重みが公開されたモデルは、多くの会社がAPIで提供しています。同じ名前のモデルでも、どの会社の窓口から呼ぶかで答えの正確さが変わるのか。第三者の評価会社Artificial Analysisは11月9日、提供元の窓口ごとの正確さを測る「Endpoint Accuracy Index」を版1.1に更新しました。6つの公開モデルの103の窓口を測ると、24の窓口は自社で正式な重みを動かした基準より、統計的にはっきり低い結果でした。
測り方
同じ3つの試験を、各窓口と基準の環境の両方で解かせます。道具の呼び出し(BFCL-500)、難しい問題の推論(HLE-250)、約10万トークンの長い文章の読み取り(AA-LCR-25)です。それぞれを基準の点に対する割合にし、3つを平均します。100なら基準と同じで、誤差の幅がまるごと100を下回ると「基準より低い」と判断します。基準は、各社の公式の重みを推奨の精度で、NVIDIAのB200などの上で動かしたものです。
さらに版1.1では、長い文章の試験のくり返しを10回から25回に増やし、誤差の幅を平均±4.7から±2.6ポイントに縮めました。正解の誤りも2問直したため、版1.0の点とはそのまま比べられません。測ったのは10月8日から11月4日です。
| モデル | 窓口 | 基準並み | 下回る |
|---|---|---|---|
| GLM-5.3 | 26 | 16 | 10 |
| GLM-5.3 Flash | 22 | 17 | 5 |
| DeepSeek V4.1 Flash 1017 | 22 | 22 | 0 |
| gpt-oss-120b | 16 | 11 | 5 |
| Kimi K3 | 12 | 10 | 2 |
| Muse Spark Open | 5 | 3 | 2 |
| 合計 | 103 | 79 | 24 |
「下回る」は、誤差の幅を含めても基準に届かない窓口の数です。
下回った原因は4つ
Artificial Analysisが見つけた原因は、次の4つに分かれます。
- 出力の上限: 出力を1万6,000〜3万2,000トークンで打ち切る窓口では、長く考えている途中で答えが切れます。GLM-5.3では、上限1万6,384トークンの窓口のHLE-250が7.6%で、基準の63.6%を大きく下回りました。
- 考える量が少ない: 同じ設定を頼んでも、推論のトークンが基準より約3割少ない窓口は、難しい問題の正答が減りました。
- 道具の呼び出しの扱い: 引数の型を取り違える、文字の列として返す、名前を崩すといった扱いの違いで、道具の試験を落とします。Muse Spark Openの2つの窓口は、予約番号のような文字の引数を数として返しました。
- 時間の打ち切り: 約10分でリクエストを切る窓口では、Kimi K3の難しい問題の約9%が答える前に終わりました。
一方で、重みを4ビット(FP4)に縮めて出す窓口はおおむね基準並みでした。GLM-5.3 Flashでは3窓口すべて、GLM-5.3では6窓口のうち5つが、8ビットの基準と統計的に同じ水準です。
読み取れること
11月11日には、OpenRouterが4ビットでも答えの質に差が見えなかったという検証を出しました。この評価の結果も、それと合います。正確さを落とすのは、精度の表示より、出力の上限や打ち切りの時間、道具の呼び出しの扱いといった、表から見えにくい設定です。
公開モデルをAPIで使うときは、料金と速さに加えて、窓口の出力の上限と打ち切りの時間を確かめておくと安心です。長く考えさせる使い方や、道具を何度も呼ぶエージェントでは、差が出やすいと分かったからです。Artificial Analysisは、原因が分かった窓口について提供元のページに注記を付けました。
YOBITSUGI AIで使えるか
この評価で測ったGLM-5.3、GLM-5.3 Flash、Kimi K3、Muse Spark Open、gpt-oss-120bは、YOBITSUGI AIからは使えません。
出典
- Endpoint Accuracy Index v1.1: Tighter long context intervals and expanded model coverage(Artificial Analysis・2026年11月9日)