AI21、給与計算の質問でNemotronがOpus 5.5を8点上回る

フランスで8月14日に産休に入った従業員の給付は、公的な保険と会社がどう分けて払うのか。こうした20語ほどの給与計算の質問に、国の制度、雇用契約、会社の規程を踏まえて答えるのは、最先端のモデルでも簡単ではありません。

イスラエルのAI21 Labsは11月4日、人事と給与計算のサービスを150か国以上で提供するDeelと組み、NVIDIAのNemotron 3.5 Super VLを、この用途向けに3週間で追加学習した結果を公開しました。元のモデルから20.7点上がり、Claude Opus 5.5を8点上回ったとしています。100万トークンあたりの費用は、Opus 5.5の50分の1です。

答えを知っていても、言い切らない

採点に使ったのは、Deelの研究所Emetが公開している給与計算の評価EmBench Payrollです。1問ごとに3〜6個の基準があり、「CPAMの日額の上限は101.94ユーロだと述べる」のような事実や、答えが押さえるべき点を確かめます。採点役はGPT-6 Solです。

元のNemotronの失敗の多くは、間違いではなく答えが足りないものでした。法律で決まっていることをぼかす、具体的な数字を出さない、人事に聞くよう促して終わる、といった形です。AI21は、知識はあるのに完全な答えに向かっていない、と見ました。

モデル	満たした 基準	全部 満たした問い
元のNemotron	51.3%	10.0%
教師ありの学習だけ	65.7%	22.9%
SDPOだけ	63.8%	18.3%
教師ありの学習 → SDPO	72.0%	33.9%
Claude Opus 5.5	64.0%	26.3%

412問のお手本を、モデル自身に作らせる

1段目では、役割、答えの詳しさ、Deelの用語と答えの組み立て、利用者が混同しやすい点を、ヒントとしてNemotronに渡して答えさせました。ヒントは新しい知識を足さず、持っている知識の使い方を促すだけです。基準をすべて満たした答えだけを残すと412問になり、ヒントを外した状態でこれを学習させました。

2段目のSDPOは、同じモデルを先生役にする方法です。先生役だけがヒントを見て、生徒役の答えをトークンごとに評価します。正解の答えが要らないので、まだ解けない問いからも学べます。使ったのは698問で、AI21は少ないデータでも、モデル自身の答えに近い形で学習させたことが効いたとしています。

72%と64%は、どの問いの数字か

数字を読むときは注意が要ります。ブログの成績は「開発用の問い」の数字で、学習に使わない別の試験での結果は書かれていません。ヒントは誤りの分析をくり返して磨いたとしていますが、どの問いで分析したかも分かりません。

EmBench Payrollの公開ページでは、Claude Opus 5.5は非公開の270問で基準の89.7%を満たし、首位です。ブログの64.0%とは問いの集まりも条件も違うため、そのまま並べられません。また「50分の1」は100万トークンあたりの単価の比較で、1回の答えにかかる費用の比較ではありません。

ここからは編集部の見方です。同じAI21のAliceの事例と同じく、公開モデルを少ない例で特定の業務に寄せる手順の記録として読むのがよさそうです。「答えをぼかす」癖をヒントと自己蒸留で直した点は、社内規程や労務の問い合わせにAIを使う会社にも参考になります。ただし、EmBench Payrollの対象は米国、英国、カナダ、ドイツ、フランス、スペイン、インド、フィリピンの8か国で、日本は入っていません。

学習したモデルの公開には、ブログは触れていません。Nemotron 3.5 Super VLは、現時点ではYOBITSUGI AIからは使えません。