本文へ移動
YOBITSUGI AIメディア
比較人が監修しながらAIを活用して執筆

MoEや量子化とは? AIモデルの発表を読む用語集

執筆・監修: 佐々木 航公開 更新 7 分で読めます

共有XFacebookLINEはてブ
「AIモデルの発表を読む用語集」と書いた表紙。MoE、量子化、SFT、DPO、ECIなどの言葉が並ぶ

「8Bのベースモデルに、継続事前学習、SFT、DPOを順に適用」。Preferred Networks(PFN)が11月9日に公開したPLaMo 3.0 Finの説明にも、こうした言葉が一度に並びました。AIのモデルの発表は、略語と専門の言葉の連続です。

モデルの発表によく出る17の言葉の意味が、最近の発表の実際の数字と一緒に分かります。数字は、どれも各社の公式の資料で確かめた値です。

モデルの大きさを表す言葉

パラメーター(8B・70Bなど)

モデルの中で、学習によって決まる数の個数です。Bは10億を表し、8Bならおよそ80億です。PLaMo 3.0 Finは、Hugging Faceの重みのファイルで数えると約85億でした。多いほど多くの知識を持てますが、動かすのに要るメモリも増えます。

MoE(総パラメーターとアクティブ)

専門の小さな部分(エキスパート)をたくさん持ち、1つのトークンごとに一部だけを使う作りです。Mistral Large 4は総パラメーターが約1兆で、1トークンに使うのは約520億(埋め込みと出力の層を含む)です。使うのは、128のエキスパートのうちの4つと、どのトークンにも使う1つです。

名前の「1T-A52B」や「32B-A3B」は、総パラメーターと、1回に使う数を表しています。つまり、1回に動かす部分が小さい分だけ速く動きます。ただし、動かすには全部の重みをメモリに置きます。Mistral Large 4のFP8の重みは1,060.6GBありました(ローカルLLMのVRAM早見表)。

トークン

AIが文章を区切って数える単位です。読ませる量も、APIの料金も、トークンで数えます。日本語の1文字は今のモデルで0.6〜0.9トークンほどで、100万トークンはおよそ110万〜170万字です(100万トークンは日本語で何文字?)。

コンテキスト長(文脈の長さ)

1回の要求で読ませられるトークンの上限です。Mistral Large 4は100万トークン、PLaMo 3.0 Finは26万2,144トークン(元のモデルの上限)です。また、長い文脈を使うほど、次に出てくるKVキャッシュのメモリが増えます。

重みと配り方の言葉

オープンウェイト

学習済みの重みのファイルが公開されていて、自分のサーバーで動かせるモデルです。ただ、使ってよい範囲はライセンスごとに違います。PLaMo 3.0 Finの場合、無償で商用に使えるのは、事前に登録したうえで、本人か関係会社の売上が10億円以下の会社です(PLaMo 3.0 Finの記事)。

量子化(FP8・4ビット)

重みの1つの数を少ないビットで持ち、ファイルと要るメモリを小さくすることです。BF16は1つの数に2バイト、FP8は1バイトを使います。llama.cppでよく使う4ビットの形式(Q4_K_M)は、公式に配られている4つのファイルで比べると、BF16の0.31〜0.34倍でした。Microsoftが4ビットにしたQwen3.8-27Bは約18GBで、BF16の55.6GBの約3分の1です。

KVキャッシュ

読んだ文章をすぐ参照できるように、モデルが持っておくメモリです。読ませる文章が長いほど増え、量はモデルの作りで大きく違います。1トークンあたりで、LLM-jp-4.1 33Bは262.1KB、DeepSeek V4.1 Flashは公表値で890バイトでした(ローカルLLMのVRAM早見表)。

学習の段階の言葉

事前学習と継続事前学習

事前学習は、大量の文章で次の言葉を当てる学習で、モデルの土台を作ります。一方、継続事前学習は、できたモデルに特定の分野の文章を追加で学ばせることです。PLaMo 3.0 Finは金融分野の文章で継続事前学習をして、日本の金融知識の評価の平均が48.0から50.1に上がりました。

SFT(教師ありファインチューニング)

質問と良い答えの組を見せて、指示に沿って答えるように学ばせる方法です。PLaMo 3.0 FinはSFTのあと、同じ評価の平均が56.0になりました。また、日本語で考える筋道や、ツールの呼び方もここで学ばせています。

DPO(直接選好最適化)

同じ質問への良い答えと悪い答えの組から、良いほうを選ぶように学ばせる方法です。PLaMo 3.0 Finでは、ツールの引数の誤りや、ツールの結果に無い内容を作った答えを、選ばれない側にしました。選択肢で答える評価の点はほとんど変わらず(55.8)、PFNは、応答の書き方を整える効果がこの評価には表れにくいと見ています。

使うときの言葉

推論(reasoning)と推論の強さ

答える前に、考える筋道を書き出す機能です。どれだけ考えるかの設定を、推論の強さ(reasoning effort)と呼びます。APIで指定しないときは、Claude Opus 5.5やGPT-6.1 Sol、Gemini 4 Argonがmedium、Claude Sonnet 5.5がhighでした(推論の強さのQ&A)。そのため、考える量が増えると、時間と料金も増えます。

なお「推論」は、学習の済んだモデルを動かして答えを出すこと(inference)の意味でも使われます。

判断モデル

決まった選択肢から答えを選び、選択肢ごとの確率を返すモデルです。Artificial Analysisの評価(Decision Index v2)では、首位のDrex Max v1.1が100万件で102ドル、1件275ミリ秒でした。言語モデルのGPT-6 Luna(Max)は点が上でも、費用は15倍、時間は約40倍かかります(判断モデルの評価v2の記事)。

評価の言葉

ベンチマーク

同じ問題をモデルに解かせて、点を比べる試験です。たとえばGPQA Diamondは生物・化学・物理の4択の198問で、当てずっぽうでも25%になります。FrontierMathのTier 1〜3は、数学者が作った未発表の295問です。ただ、同じベンチマークでも、設定や採点の方法が違えば、点はそのまま比べられません。

ECI(Epoch Capabilities Index)

研究機関Epoch AIが、多くのベンチマークの結果を1つにまとめた総合指標です。Claude 3.5 Sonnetが130、GPT-5が150になるように決めてあります。11月4日からは、計算をベイズ統計の方法に改めました(週次の性能比較)。

区間(信頼区間・信用区間)

点の本当の値が入っていそうな幅です。区間が重なるモデルどうしは、順位の差を言い切れません。11月9日のEpoch AIのデータでは、1位と区間が重なるモデルが、1位を含めて10個ありました。

提供の状態の言葉

プレビュー(preview)

正式の前に、試しに出している版です。OpenAIは、名前にpreviewが付くモデルは、2週間ほどの短い予告で提供を終えることがあるとしています。

非推奨と提供終了(deprecated・retired)

非推奨は、まだ使えるものの終わる日が決まった状態で、提供終了は使えなくなった状態です。Claude Sonnet 4.5は9月30日に非推奨になり、11月30日に終わります。Googleのように、終わったモデルへの要求を新しいモデルへ自動で回す会社もあります(AIの提供終了カレンダー)。

文中のモデルのうち、GPT-6.1 SolとGPT-6 Luna、Gemini 4 Argon、Mistral Large 4は、YOBITSUGI AIでも使えます。YOBITSUGI AIではClaudeの各系列も使え、選べるモデルはアプリのモデルの選択欄で確認できます。

出典

共有XFacebookLINEはてブ