AI21、指示の守り方を章ごとに測る評価 LIFT-Bench を公開

「辛亥革命を題材にした架空の歴史の章を、同じ語を 5 回以上使わずに書いて」と頼んだら、返ってきた答えは「China」の 1 語だけでした。AI21 Labs が、決まりを守れたかだけを点数にして強化学習をした実験で起きたことです。同社は 10 月 25 日、決まりと中身をあわせて測る指示追従(インストラクションフォロー)の評価「LIFT-Bench」と、学習用のデータ「LIFT-Train」を公開しました。

何を測る評価か

これまでの指示追従の評価の多くは、「カンマを使わない」「キーワードを 3 回入れる」といった決まりを、答え全体に当ててプログラムで確かめます。頼んだ仕事をこなしたかは見ないため、中身を削っても点数は下がりません。

LIFT-Bench は、文書の目次の章ごとに決まりを割り当て、その章の文だけで確かめます。「2.1 節はドイツ語で」のように、プログラムで確かめる決まりと、「最初の公式の大会までさかのぼって書く」のように LLM が判定する中身の決まりを、同じ点数で数えます。問題は 784 問で、短い文書(約 4 章)と長い文書(約 9 章)、1 つの章に載せる決まりの数(密度)の 4 段階、目次の無い従来型の問題の 10 区分に分かれています。

判定に使う LLM にも、文書全体ではなく、その章の文だけを渡します。人が判定した 305 例で比べると、範囲を絞るだけで判定の正確さ(macro-F1)が 11〜19 ポイント上がりました。絞らない場合、Gemma-4-31B は実際には 227 例しか満たしていないのに 292 例を合格にしていました。

17 モデルを比べた結果

決まりの数が 10 以下の問題にそろえても、Qwen3.8-A95B を除くすべてのモデルが、従来型の問題のほうで点数が低くなりました。AI21 は、決まりの数の差では説明できないとしています。

LIFT-Train(3 万 4,258 問)の点数をそのまま報酬にして Qwen2.5-7B を学習させると、答えの長さの中央値は 390〜530 語を保ちました。従来のデータ IFTrain で学習させた場合は、180 ステップで報酬が満点に達し、390 ステップで答えの長さの中央値が 114 語から 18 語に縮んでいます。LIFT-Bench・LIFT-Train と作成の手順は公開されており、技術論文も出ています。

モデル選びへのヒント(編集部の見方)

ここからは編集部の見方です。報告書や企画書のように、章ごとに言語や字数、入れる表を決めて AI に書かせる使い方では、従来型の評価の順位がそのまま当てはまるとは限りません。モデルを選ぶときは、自分の仕事に近い形の問題をいくつか作り、決まりを守れたかに加えて、中身を書けたかも確かめるとよさそうです。AI21 も、学習の報酬の伸びだけでなく、答えの長さも見るよう勧めています。

評価は英語の問題で作られており、発表では日本語の文書での結果には触れていません。比べられたモデルのうち、DeepSeek V4 Pro は YOBITSUGI AI で使えます。