本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

ByteDance、意味を縮めて書く言語モデルCola2の重みを公開

執筆・監修: 佐々木 航公開 更新 6 分で読めます

共有XFacebookLINEはてブ

文章を1トークンずつ書き足すのではなく、意味のまとまりごとに数字の並びへ縮め、その並びを画像生成と同じ拡散モデルで作ってから文字に戻す。ByteDanceの研究チームByteDance Seedは11月6日、こうした仕組みの言語モデルCola2の重みをHugging Faceで公開しました。同じ日に、GitHubで推論のコードも公開しました。香港大学などとの共同研究で、論文は10月22日にarXivへ投稿されていました。プロジェクトのページには、動画生成モデルSeedanceのチームの研究とあります。

公開されたのは、指示に従うよう調整する前の素のモデル(ベースモデル)です。チャットの相手にするものではなく、新しい書き方を試すための研究用のモデルです。

意味を縮めてから、8個ずつまとめて作る

ふつうの言語モデルは、次の1トークンを予想しては書き足す作業をくり返します。Cola2は、役目の違う3つの部分で文章を作ります。

まず、縮める部分(VAE)が、文章を1〜8トークンの意味のまとまりに区切り、それぞれを64個の数字の並びに縮めます。平均すると、2トークンを1つにまとめる割合です。次に、約40億パラメーターの拡散モデル(DiT)が、縮めた並びを8個ずつまとめて下書きします。ノイズから8回の手順で整える方式です。最後に、Qwen3-4B-Baseを元にした部品が、並びを1つずつトークンに戻します。

書き終えた文章は、もう一度縮め直して次の下書きの手がかりにします。縮めた並びの履歴と、実際に書いた文章がずれないようにするためです。

全体のパラメーターは約88億です。下書きは毎回ちがうノイズから始まるので、同じ問いでも答えが変わることがあります。だから結果を比べるときは、乱数の種(シード)を固定するよう開発元は勧めます。

8項目の平均は60.1、Qwen3-8B-Baseより16点低い

開発元が出した8つの評価の結果です。比べた相手はいずれも80億前後のパラメーターの素のモデルです。LLaDA-8B-Baseは、文章全体を拡散モデルで作る別の研究の言語モデルです。

評価Cola2Llama
3 8B
Qwen3
8B
LLaDA
8B
8項目の平均60.166.375.972.1
読解RACE69.975.890.787.4
物語の結末StoryCloze80.479.597.495.9
常識での続きHellaSwag41.839.268.169.7
最後の1語LAMBADA63.075.771.267.9
理科の選択問題ARC-Easy87.690.997.493.9
誤解しやすい問いTruthfulQA54.163.072.664.9
幅広い知識MMLU51.363.272.361.3
物語の読解NarrativeQA32.742.737.336.0

値は正答率(%)で、小数第2位を四捨五入しました。色の付いた値は、Cola2がLlama 3 8Bを上回った項目です。平均はLlama 3 8Bより6.2点、Qwen3-8B-Baseより15.8点低く、上回ったのはこの2項目だけでした。

この表は、すべてのモデルを同じ問題文と同じ採点で測り直した値です。答えは最大32トークンまで書かせて採点します。各社が自分で出している値とは測り方が違うので、低く出ている項目があります。Cola2の値は、ノイズを変えて3回測った平均です。

「43分の1のデータ」の読み方

開発元は、Cola2の学習に使ったのは3,460億トークンで、15兆トークン以上を使ったLlama 3 8Bの43分の1以下だと強調します。ただし、文字に戻す部分は、Qwen3-4B-Baseの重みから学習を始めたものです。つまり、Qwen3-4B-Baseが前もって学んだ分は、3,460億トークンに含まれません。開発元のページも、この結果はQwenを元にした部分の力をうまく引き継いだ表れだと説明します。

学習に使った文章は、AllenAIが公開したOLMo 2の事前学習用のデータです。下書きの部分はまだ学習が収まりきっておらず、伸びしろがあると開発元は見ています。約2,100億トークンまで条件をそろえて学ばせた比較では、縮める版はLLaDAより伸びが遅いものの、約1,500億トークンを過ぎてからも差を縮め続けました。

速さの数字はまだない

拡散型の言語モデルは、まとめて作れるぶん速くなると期待されます。Cola2も、縮めた並びの上で下書きするので、理屈の上では計算が減ります。ただ開発元のページは、実際の速さは文字に戻す部分の計算や、書いた文章を縮め直す手順にも左右されると説明します。速くするには、専用の計算の部品や処理の順番の作り込みが要るそうです。公開された資料に、速さを測った値はありません。

使うときの条件

Cola2は、指示に従う調整も、安全面の調整もしていないベースモデルです。モデルカードによると、長い文章では同じことをくり返したり、話がそれたりすることがあります。評価は英語だけで、日本語やコード、数学、長い文章での性能は確かめられていません。

動かすには、NVIDIAのGPU(CUDA)とbfloat16が推奨です。ファイルは8つに分かれ、合計約35GBあります。bfloat16で読み込むと、重みだけで計算上約17.5GBのGPUメモリを使います。Transformersで読み込むときは、モデルに付いたPythonのコードを実行する設定(trust_remote_code)が要ります。開発元の説明書は、信頼できない写しから取ってきたときは、先にそのコードを確かめるよう求めます。

ライセンスにも注意が要ります。コードはApache 2.0です。一方、重みとトークナイザーは「それぞれに付けた条件に従う」とあるものの、Hugging Faceのページにライセンスの記載はありません(11月6日時点)。Qwen3から来た部分は、Qwenの元の条件に従います。仕事で使う前に、条件を確かめる必要があります。なお、公開されたのは重みと推論のコードで、APIの提供は発表されていません。

ここからは編集部の見方です。Cola2は、今の時点で仕事に使うモデルとして選ぶ段階ではありません。言語モデルの書き方そのものを変える試みとして、速さの数字や、指示に従う版が出てくるかが次の見どころです。同じByteDance Seedが11月3日に公開した画像生成のGenFirstも、縮める部分と作る部分の学ばせ方を見直す研究でした。

Cola2は、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ