本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

fp8やfp4の量子化で答えは落ちるか、OpenRouterが検証

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

同じオープンウェイトのモデルでも、APIの提供元によって、重みを16ビットのまま動かすところもあれば、8ビット(fp8)や4ビット(fp4)に縮める「量子化」をして動かすところもあります。ビットを減らすとメモリが半分や4分の1で済み、安く速く出せる代わりに、数値が丸められます。それで答えは悪くなるのか。複数の提供元のAPIをまとめて使えるOpenRouterは11月11日、Qwen3.8 27Bを6つの提供元で動かし、同じ問題を解かせた結果を公開しました。

6つの提供元で、同じ280問を解かせた

測ったのは10月20日です。16ビットのCerebras、8ビットのParasail・CoreWeave・AkashML、4ビットのDarkbloom・ModelRunを、ほかへ振り替えない設定で1か所ずつ指定し、温度は0、推論はなしで解かせました。問題は、途中の式を書く計算、Pythonのプログラムの実行結果の予想、20〜30個の数の並べ替え、240件か1,200件の中から1つの鍵を探す問題(約4,000と2万トークン)、約9,000トークンの中を4回たどる問題です。どれも答えが1つに決まるため、採点にAIの判定は使いません。

240問の正答率は、6か所とも98.3〜99.2%に収まりました。誤りは並べ替えで数を1つ落とすような普通の取りこぼしで、どの種類の問題でも、精度による差は出ませんでした。問題の数が少ないため、1〜2ポイントの差までは否定できないというのが、OpenRouter自身の注意書きです。

差が見えかけたのは、途中の式を書かせない4けたのかけ算の40問だけでした。4ビットのDarkbloomは26問で、ほかの5か所の30〜33問を下回りました。それでも、同じ4ビットのModelRunは30問で、偶然でもこれくらいの差が出る見込みは約7.5%あり、精度のせいとは言い切れません。

提供元精度費用速さ
Cerebras16ビット$1.241.3秒
ModelRun4ビット$0.772.4秒
CoreWeave8ビット$1.194か所で
8.4〜
15.0秒
Parasail8ビット$0.81
AkashML8ビット$0.72
Darkbloom4ビット$0.58

10月20日のOpenRouterの測定。費用は280問を1回解かせた額、速さは答えが返るまでの時間の中央値で、4か所の値は幅だけが公表されています。240問の正答率は6か所とも98.3〜99.2%でした。

安さと速さを決めたのは、精度より提供元

費用は、4ビットのDarkbloomがいちばん安く、16ビットのCerebrasがいちばん高い結果でした。ところが、そのあいだの順は精度の順と一致しませんでした。速さはさらにばらばらです。16ビットのCerebrasと4ビットのModelRunは速かったのですが、ほかの4か所はその数倍かかりました。

OpenRouterに載る全体でも、同じ傾向です。8ビットと16ビットの両方がある24のモデルでは、8ビットが安いのが14、逆に高いのが7でした。4ビットは、33のモデルのうち26で8ビットより安い値です。同じモデル・同じ精度でも、いちばん高い提供元の料金は、いちばん安い提供元の1.72倍(中央値)で、Qwen3.8 27Bの8ビットの10か所では、入力3・出力1の割合でならした料金が100万トークンあたり$0.342〜$1.137と3倍以上の開きがありました。

そもそも精度が分からない提供元も多くあります。OpenRouterの1,455の窓口のうち865は精度の表示がなく、そのうち610はClaudeやGeminiのように重みが公開されていないモデルです。表示のある163のモデルでも、16ビットで出す窓口があるのは54だけで、多くのオープンウェイトのモデルは8ビットか4ビットでしか選べません。

精度を指定するときの落とし穴

OpenRouterでは、受け入れる精度をprovider.quantizationsで指定できます。ただし、1つの精度だけに絞ると、振り替え先がなくなります。Qwen3.8 27Bを16ビットだけで頼むと候補はCerebrasの1か所しか残らず、検証では最初の280件のうち93件が、上限超えの429のエラーで3回続けて失敗しました。16ビットとbf16の2つを許すと、別の提供元に回るようになったといいます。

読み取れること

この結果は、1つのモデル、280問、1日だけの測定です。問題は計算と探しものが中心で、日本語の文章の質は測っていません。4ビットでも大丈夫とまでは言えず、OpenRouterも、自分のプロンプトで試してから切り替えるよう勧めます。

それでも、「4ビットだから避ける」と表示だけで決める理由は薄くなりました。Artificial Analysisの103の窓口の評価でも、正確さを落とした原因の多くは、4ビット化ではなく出力の上限や打ち切りでした。費用と速さの差は提供元のほうが大きく、選ぶときの目安には、精度の表示より、手元の日本語の課題での正答と料金、答えの速さが向いています。精度を1つに絞らず、許せる精度を2つ以上並べておくと、上限にかかったときの失敗も減らせます。

YOBITSUGI AIで使えるか

検証に使ったQwen3.8 27Bは、YOBITSUGI AIからは使えません。

2026年11月11日 更新:説明文の正答率98.3〜99.2%を、280問全体ではなく採点した240問の値と直しました。残りの4けたのかけ算40問は別に採点した結果です。

出典

共有XFacebookLINEはてブ