fp8やfp4の量子化で答えは落ちるか、OpenRouterが検証
執筆・監修: 佐々木 航公開 更新 5 分で読めます
同じオープンウェイトのモデルでも、APIの提供元によって、重みを16ビットのまま動かすところもあれば、8ビット(fp8)や4ビット(fp4)に縮める「量子化」をして動かすところもあります。ビットを減らすとメモリが半分や4分の1で済み、安く速く出せる代わりに、数値が丸められます。それで答えは悪くなるのか。複数の提供元のAPIをまとめて使えるOpenRouterは11月11日、Qwen3.8 27Bを6つの提供元で動かし、同じ問題を解かせた結果を公開しました。
6つの提供元で、同じ280問を解かせた
測ったのは10月20日です。16ビットのCerebras、8ビットのParasail・CoreWeave・AkashML、4ビットのDarkbloom・ModelRunを、ほかへ振り替えない設定で1か所ずつ指定し、温度は0、推論はなしで解かせました。問題は、途中の式を書く計算、Pythonのプログラムの実行結果の予想、20〜30個の数の並べ替え、240件か1,200件の中から1つの鍵を探す問題(約4,000と2万トークン)、約9,000トークンの中を4回たどる問題です。どれも答えが1つに決まるため、採点にAIの判定は使いません。
240問の正答率は、6か所とも98.3〜99.2%に収まりました。誤りは並べ替えで数を1つ落とすような普通の取りこぼしで、どの種類の問題でも、精度による差は出ませんでした。問題の数が少ないため、1〜2ポイントの差までは否定できないというのが、OpenRouter自身の注意書きです。
差が見えかけたのは、途中の式を書かせない4けたのかけ算の40問だけでした。4ビットのDarkbloomは26問で、ほかの5か所の30〜33問を下回りました。それでも、同じ4ビットのModelRunは30問で、偶然でもこれくらいの差が出る見込みは約7.5%あり、精度のせいとは言い切れません。
| 提供元 | 精度 | 費用 | 速さ |
|---|---|---|---|
| Cerebras | 16ビット | $1.24 | 1.3秒 |
| ModelRun | 4ビット | $0.77 | 2.4秒 |
| CoreWeave | 8ビット | $1.19 | 4か所で 8.4〜 15.0秒 |
| Parasail | 8ビット | $0.81 | |
| AkashML | 8ビット | $0.72 | |
| Darkbloom | 4ビット | $0.58 |
10月20日のOpenRouterの測定。費用は280問を1回解かせた額、速さは答えが返るまでの時間の中央値で、4か所の値は幅だけが公表されています。240問の正答率は6か所とも98.3〜99.2%でした。
安さと速さを決めたのは、精度より提供元
費用は、4ビットのDarkbloomがいちばん安く、16ビットのCerebrasがいちばん高い結果でした。ところが、そのあいだの順は精度の順と一致しませんでした。速さはさらにばらばらです。16ビットのCerebrasと4ビットのModelRunは速かったのですが、ほかの4か所はその数倍かかりました。
OpenRouterに載る全体でも、同じ傾向です。8ビットと16ビットの両方がある24のモデルでは、8ビットが安いのが14、逆に高いのが7でした。4ビットは、33のモデルのうち26で8ビットより安い値です。同じモデル・同じ精度でも、いちばん高い提供元の料金は、いちばん安い提供元の1.72倍(中央値)で、Qwen3.8 27Bの8ビットの10か所では、入力3・出力1の割合でならした料金が100万トークンあたり$0.342〜$1.137と3倍以上の開きがありました。
そもそも精度が分からない提供元も多くあります。OpenRouterの1,455の窓口のうち865は精度の表示がなく、そのうち610はClaudeやGeminiのように重みが公開されていないモデルです。表示のある163のモデルでも、16ビットで出す窓口があるのは54だけで、多くのオープンウェイトのモデルは8ビットか4ビットでしか選べません。
精度を指定するときの落とし穴
OpenRouterでは、受け入れる精度をprovider.quantizationsで指定できます。ただし、1つの精度だけに絞ると、振り替え先がなくなります。Qwen3.8 27Bを16ビットだけで頼むと候補はCerebrasの1か所しか残らず、検証では最初の280件のうち93件が、上限超えの429のエラーで3回続けて失敗しました。16ビットとbf16の2つを許すと、別の提供元に回るようになったといいます。
読み取れること
この結果は、1つのモデル、280問、1日だけの測定です。問題は計算と探しものが中心で、日本語の文章の質は測っていません。4ビットでも大丈夫とまでは言えず、OpenRouterも、自分のプロンプトで試してから切り替えるよう勧めます。
それでも、「4ビットだから避ける」と表示だけで決める理由は薄くなりました。Artificial Analysisの103の窓口の評価でも、正確さを落とした原因の多くは、4ビット化ではなく出力の上限や打ち切りでした。費用と速さの差は提供元のほうが大きく、選ぶときの目安には、精度の表示より、手元の日本語の課題での正答と料金、答えの速さが向いています。精度を1つに絞らず、許せる精度を2つ以上並べておくと、上限にかかったときの失敗も減らせます。
YOBITSUGI AIで使えるか
検証に使ったQwen3.8 27Bは、YOBITSUGI AIからは使えません。
2026年11月11日 更新:説明文の正答率98.3〜99.2%を、280問全体ではなく採点した240問の値と直しました。残りの4けたのかけ算40問は別に採点した結果です。
出典
- LLM Quantization: What fp8 and fp4 Do to Quality and Price(OpenRouterブログ・2026年11月11日)