文章の生成を速める EAGLE-4 公開、fal が画像・動画で検証

Eagle AI は 10 月 20 日、言語モデルが文章を作る速さを上げる技術「EAGLE-4」の推論用のコードと論文を GitHub で公開しました。同じ日に、AI の実行基盤の fal のブログで、Fireworks AI・fal と共同で行った EAGLE-4 の技術的な分析も公開されました。EAGLE-4 は「投機的デコーディング」と呼ばれる方法の 1 つです。

言語モデルは 1 トークンずつ順に文章を作るため、1 人分の処理では GPU の計算の力を使い切れません。投機的デコーディングでは、小さな「下書き役」のモデルが数トークン先までを予想し、本体のモデルがまとめて確かめます。新人が下書きを書き、先輩がまとめて目を通すと早く終わるのに似ています。正しい手順で確かめるため、本体のモデルの答えの傾向は変わりません。

要点

• 1 つの下書き役が、同時に処理する量や GPU に合わせて予想の広げ方を変える方式です。
• 予想を木の形に枝分かれさせ、GPU で測った費用を見て、確かめる量を決めます。
• Qwen3.8-27B などに向けた下書き役のモデルを Hugging Face で公開しています。
• fal は、画像・動画の生成の前に指示を書き足す処理での検証と、試験用のデータを出しました。
• 1 件ずつの処理で、比べたほかの方式より 1.63〜1.85 倍速かったとしています。
• ライセンスはソースを公開する独自のもので、売上の大きい企業の商用利用には別の契約が要ります。

最近の画像・動画の生成では、利用者の短い指示を、生成の前に言語モデルが詳しい場面の説明に書き足すことが多くあります(プロンプト拡張)。fal は、動画の生成が速くなるほど、この書き足しの時間が全体の待ち時間に占める割合が大きくなるとしています。そこで、文章から動画・画像から動画・文章から画像・画像から画像の 4 種類を 100 件ずつ集めた試験用のデータ「Prompt Enhancement SpecBench」を公開しました。創作の指示は先を予想しにくく、予想が当たる長さは短くなりましたが、木の形で確かめる方法は 1 本の鎖の形より 9.6〜12.4% 長く当たり、確かめる量を 16 トークンにすると 21.1〜26.1% 長くなりました。

速さは、NVIDIA B300 の GPU 4 枚で測っています。同時に 1 件を処理する場合、Fireworks のデータで 1 秒に 660.6 トークン、fal のデータで 622.9 トークンで、比べた方式(DFlash2・DSpark など)のうち最も速いものの 1.63 倍と 1.85 倍でした。同時に 8 件の場合も 1.36 倍と 1.62 倍でした。確かめる量を 16 トークンに増やすと、投機的デコーディングを使わない場合の 3.77 倍の速さになったとしています。

コードは SGLang や vLLM などの実行の道具に組み込んで使う形で、EAGLE-4 側が用意した版の道具が要ります。動作を案内している GPU は NVIDIA B300 と AMD MI355X です。ライセンスは研究・評価・個人の非商用の利用を認め、商用の利用は、グループ全体の年間の売上が 2,000 万ドル以下で、EAGLE-4 と競合する製品でない場合に限っています。

日本の利用者にとって

自前の GPU で言語モデルを動かす開発者や企業に向けた技術です。対応の GPU は新しい世代のものに限られ、売上の大きい企業が使うときはライセンスの条件の確認が必要です。

YOBITSUGI AI で使えるか

これは言語モデルの生成を速める技術の発表です。YOBITSUGI AI では fal.ai を通して FLUX・Kling 3.0・Hailuo 02・Wan 2.2 を使えますが、fal が EAGLE-4 を自社のサービスに使っているかは、発表では触れていません。