業務マニュアルを覚えたtsuzumi 2、正答率65%から83%に
執筆・監修: 佐々木 航公開 更新 3 分で読めます
LLMに社内のマニュアルを読ませることはできますが、その中身を覚えた状態にするのは簡単ではありません。NTTは11月12日、少ない業務資料からLLMに専門の知識を覚えさせるチューニングの技術を確立したと発表しました。NTTが作る日本語のLLM「tsuzumi」で、会社ごとに業務の知識を持たせた版を作りやすくするのがねらいです。11月18〜25日のNTT R&D FORUM 2026で展示し、NTTグループ各社に導入する予定です。
マニュアルを、LLM自身が教材に書き換える
LLMに新しい知識を覚えさせるには、モデル全体を学習し直すのが一般的です。ただ、それには数十ギガバイトを超えるデータが要ります。A4の紙1枚の文章が数キロバイトなので、その1,000万倍にあたります。会社にそれほどの量のマニュアルはなく、インターネットから似た情報を集めると、業務と関係のない情報が混じります。
そこでNTTは学校の国語の授業を手本にしました。文章を読むだけでなく、著者の意図を問う設問に答えたり、感想を話し合ったりして理解を深めるやり方です。新しい技術では、LLM自身がマニュアルをもとに、仕様書やFAQなど形の違う学習データを作り、それで学びます。比べた先行研究も、マニュアルを数学の問題やFAQ、手順書の形に書き換える方法や、読み手の人物像を変えて書き換える方法でした。
正答率は、学習前の65.3%から83.1%に
試験には、NTTの実際の業務マニュアルを使いました。マニュアルに書かれた範囲で問題を作り、学習の前後で正答率を比べました。tsuzumi 2では、学習前の65.3%が、先行研究の方法で最大73.3%、新しい技術で83.1%まで上がりました。より軽いLlama 3(3B)でも、結果は先行研究より上です。
| モデル | 学習前 | 先行研究 | 新しい技術 |
|---|---|---|---|
| tsuzumi 2 | 65.3% | 73.3% | 83.1% |
| Llama 3(3B) | 約25% | 約51% | 約57% |
NTTの11月12日の発表から。Llama 3(3B)の値は、発表の図2から読み取った目安です。先行研究の値は、いちばん高かったときのもの。マニュアルをそのまま繰り返し学ばせる従来の方法では、Llama 3(3B)は約33%までしか上がらず、学習を続けると学習前の水準に戻りました。
読み取れること
「少量データから」というのは、元になる資料が少なくてよいという意味で、学習が軽く済むわけではありません。発表の図では、学習に使ったトークンの量を5億から数百億まで変えました。tsuzumi 2が学習前を大きく上回ったのは50億トークンのあたりからで、83.1%は数百億トークン近くまで学ばせたときの値です。書き換えた教材を大量に作り、それで学習し直す計算の手間は、それなりにかかると見ておくのがよさそうです。
一方で、元の資料を増やさずに済む点は、日本の会社にとって大きな利点です。マニュアルを繰り返し読ませるだけの方法では、Llama 3(3B)の正答率はほとんど伸びませんでした。tsuzumi 2はGPU 1枚で動き、社内のサーバーで運用できるモデルなので、業務の知識を覚えたモデルを外に出さずに持てます。ただし、マニュアルを検索して答えに添える方法(RAG)と比べた結果は、発表に含まれていません。社内のGPUで動かす費用の考え方は、自前のGPUはAPIより安いかの試算も参考になります。
YOBITSUGI AIで使えるか
tsuzumiは、YOBITSUGI AIでは使えません。
出典
- 少量データから特定の専門性を有したLLMにチューニングする技術を確立(NTT・2026年11月12日)
- NTT版LLM tsuzumi 2アップデート(NTT・2026年5月19日)