Cartesia、トークナイザーなしのH-Net 10分の1の学習で同じ点
公開 3 分で読めます
AIは文章を、決まった辞書で「トークン」に区切ってから読みます。その区切り方まで、AI自身に学ばせたらどうなるのか。
読み上げのSonicなど、音声のモデルを手がけるCartesiaは10月28日、この問いについての研究を2本のブログで公開しました。H-Netは同社が2025年に発表した仕組みで、文字のもとになるバイトを、モデルの中で意味のまとまりに少しずつまとめていきます。今回は改良した版を大きくして、普通の言語モデルと比べています。
違いが大きかったのは、学習の効率です。Hugging Faceが作り方をすべて公開しているSmolLM3-3Bと、データと計算量をそろえて学習させました。約37億パラメーターのH-Netは、SmolLM3が約11兆トークンの学習で出した平均点に、約1兆トークンで届いています。プログラムのコードでは差がさらに開き、学習に入れていなかったPrologでは、普通のモデルが同じ水準に届くには5.37倍の計算が要るとしています。1
日本語のように、単語を空白で区切らない言葉でも、H-Netは意味の通る位置で区切りを作ったとしています。前の版は、日本語の1文字が複数のバイトでできている点をうまく扱えず、文字の途中で区切ることがありました。2本目のブログでは、普通のトークナイザーが学習の前に文章を決まりで切り分けている点を取り上げ、DeepSeek-V3は漢字とかなの範囲を決め打ちしていると紹介しています。2
すぐ使えるモデルではない（編集部の見方）
今回は学習の方法の研究で、使えるモデルの公開はありません。Cartesiaは、改良した仕組みを少しずつ公開する予定としています。大きなモデルで比べた相手はSmolLM3-3Bだけで、評価は6つの課題の平均です。データのそろえ方にも正解はないと、Cartesia自身が書いています。学習データのうち英語以外の言葉は1割ほどで、日本語の点数は示されていません。それでも、区切り方を学ぶモデルが広がれば、空白のない日本語の扱いは、いまのトークナイザーよりわりと自然になるかもしれません。
H-Netは研究段階のモデルで、現時点ではYOBITSUGI AIからは使えません。
出典
- From Tokens to Bytes I: Scaling Hierarchical Networks（Cartesia blog・2026年10月28日）
- From Tokens to Bytes II: Learning from Raw Data（Cartesia blog・2026年10月28日）
注
SmolLM3の学習の第1段階のデータを、バイトの単位で配分をそろえて再現しました。評価は、SmolLM3の公式の結果と同じ「推論と常識」「知識と理解」の6つの課題の平均です。H-Netの中心の部分は、約7.6バイトに1つの位置を扱います。Llama-3のトークナイザーは1トークンが約4.5バイトなので、同じ文章で4割ほど少ない位置を処理する計算です。区切り方だけを替えた別の比べでは、計算の効率が1.3倍、コードでは2倍でした。 ↩
2本目では、バイトのまま学ぶモデル、事前の切り分けありとなしのトークナイザー、H-Net、MetaのByte Latent Transformerに近い形を比べました。バイトのまま扱うモデルは学んだことを評価に生かしやすく、トークンに圧縮するモデルは計算の効率がよい傾向があり、H-Netは両方の長所を持つとしています。中国語では、H-Netのまとまりは普通のトークンより短くなりました。 ↩
