ByteDance、意味を縮めて書く言語モデルCola2の重みを公開
執筆・監修: 佐々木 航公開 更新 6 分で読めます
文章を1トークンずつ書き足すのではなく、意味のまとまりごとに数字の並びへ縮め、その並びを画像生成と同じ拡散モデルで作ってから文字に戻す。ByteDanceの研究チームByteDance Seedは11月6日、こうした仕組みの言語モデルCola2の重みをHugging Faceで公開しました。同じ日に、GitHubで推論のコードも公開しました。香港大学などとの共同研究で、論文は10月22日にarXivへ投稿されていました。プロジェクトのページには、動画生成モデルSeedanceのチームの研究とあります。
公開されたのは、指示に従うよう調整する前の素のモデル(ベースモデル)です。チャットの相手にするものではなく、新しい書き方を試すための研究用のモデルです。
意味を縮めてから、8個ずつまとめて作る
ふつうの言語モデルは、次の1トークンを予想しては書き足す作業をくり返します。Cola2は、役目の違う3つの部分で文章を作ります。
まず、縮める部分(VAE)が、文章を1〜8トークンの意味のまとまりに区切り、それぞれを64個の数字の並びに縮めます。平均すると、2トークンを1つにまとめる割合です。次に、約40億パラメーターの拡散モデル(DiT)が、縮めた並びを8個ずつまとめて下書きします。ノイズから8回の手順で整える方式です。最後に、Qwen3-4B-Baseを元にした部品が、並びを1つずつトークンに戻します。
書き終えた文章は、もう一度縮め直して次の下書きの手がかりにします。縮めた並びの履歴と、実際に書いた文章がずれないようにするためです。
全体のパラメーターは約88億です。下書きは毎回ちがうノイズから始まるので、同じ問いでも答えが変わることがあります。だから結果を比べるときは、乱数の種(シード)を固定するよう開発元は勧めます。
8項目の平均は60.1、Qwen3-8B-Baseより16点低い
開発元が出した8つの評価の結果です。比べた相手はいずれも80億前後のパラメーターの素のモデルです。LLaDA-8B-Baseは、文章全体を拡散モデルで作る別の研究の言語モデルです。
| 評価 | Cola2 | Llama 3 8B | Qwen3 8B | LLaDA 8B |
|---|---|---|---|---|
| 8項目の平均 | 60.1 | 66.3 | 75.9 | 72.1 |
| 読解RACE | 69.9 | 75.8 | 90.7 | 87.4 |
| 物語の結末StoryCloze | 80.4 | 79.5 | 97.4 | 95.9 |
| 常識での続きHellaSwag | 41.8 | 39.2 | 68.1 | 69.7 |
| 最後の1語LAMBADA | 63.0 | 75.7 | 71.2 | 67.9 |
| 理科の選択問題ARC-Easy | 87.6 | 90.9 | 97.4 | 93.9 |
| 誤解しやすい問いTruthfulQA | 54.1 | 63.0 | 72.6 | 64.9 |
| 幅広い知識MMLU | 51.3 | 63.2 | 72.3 | 61.3 |
| 物語の読解NarrativeQA | 32.7 | 42.7 | 37.3 | 36.0 |
値は正答率(%)で、小数第2位を四捨五入しました。色の付いた値は、Cola2がLlama 3 8Bを上回った項目です。平均はLlama 3 8Bより6.2点、Qwen3-8B-Baseより15.8点低く、上回ったのはこの2項目だけでした。
この表は、すべてのモデルを同じ問題文と同じ採点で測り直した値です。答えは最大32トークンまで書かせて採点します。各社が自分で出している値とは測り方が違うので、低く出ている項目があります。Cola2の値は、ノイズを変えて3回測った平均です。
「43分の1のデータ」の読み方
開発元は、Cola2の学習に使ったのは3,460億トークンで、15兆トークン以上を使ったLlama 3 8Bの43分の1以下だと強調します。ただし、文字に戻す部分は、Qwen3-4B-Baseの重みから学習を始めたものです。つまり、Qwen3-4B-Baseが前もって学んだ分は、3,460億トークンに含まれません。開発元のページも、この結果はQwenを元にした部分の力をうまく引き継いだ表れだと説明します。
学習に使った文章は、AllenAIが公開したOLMo 2の事前学習用のデータです。下書きの部分はまだ学習が収まりきっておらず、伸びしろがあると開発元は見ています。約2,100億トークンまで条件をそろえて学ばせた比較では、縮める版はLLaDAより伸びが遅いものの、約1,500億トークンを過ぎてからも差を縮め続けました。
速さの数字はまだない
拡散型の言語モデルは、まとめて作れるぶん速くなると期待されます。Cola2も、縮めた並びの上で下書きするので、理屈の上では計算が減ります。ただ開発元のページは、実際の速さは文字に戻す部分の計算や、書いた文章を縮め直す手順にも左右されると説明します。速くするには、専用の計算の部品や処理の順番の作り込みが要るそうです。公開された資料に、速さを測った値はありません。
使うときの条件
Cola2は、指示に従う調整も、安全面の調整もしていないベースモデルです。モデルカードによると、長い文章では同じことをくり返したり、話がそれたりすることがあります。評価は英語だけで、日本語やコード、数学、長い文章での性能は確かめられていません。
動かすには、NVIDIAのGPU(CUDA)とbfloat16が推奨です。ファイルは8つに分かれ、合計約35GBあります。bfloat16で読み込むと、重みだけで計算上約17.5GBのGPUメモリを使います。Transformersで読み込むときは、モデルに付いたPythonのコードを実行する設定(trust_remote_code)が要ります。開発元の説明書は、信頼できない写しから取ってきたときは、先にそのコードを確かめるよう求めます。
ライセンスにも注意が要ります。コードはApache 2.0です。一方、重みとトークナイザーは「それぞれに付けた条件に従う」とあるものの、Hugging Faceのページにライセンスの記載はありません(11月6日時点)。Qwen3から来た部分は、Qwenの元の条件に従います。仕事で使う前に、条件を確かめる必要があります。なお、公開されたのは重みと推論のコードで、APIの提供は発表されていません。
ここからは編集部の見方です。Cola2は、今の時点で仕事に使うモデルとして選ぶ段階ではありません。言語モデルの書き方そのものを変える試みとして、速さの数字や、指示に従う版が出てくるかが次の見どころです。同じByteDance Seedが11月3日に公開した画像生成のGenFirstも、縮める部分と作る部分の学ばせ方を見直す研究でした。
Cola2は、現時点ではYOBITSUGI AIからは使えません。
出典
- ByteDance-Seed/Cola2(Hugging Face・2026年11月6日)
- ByteDance-Seed/Cola2(GitHub・2026年11月6日。モデルカードと評価の手順を含む)
- Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation(arXiv・2026年10月22日)
- Cola2プロジェクトのページ(2026年11月6日確認)