AI21、Nemotronの追加学習で攻撃への強さがGPT-6.1 Sol超え

公開されているモデルに数百件の例で追加学習をすると、エージェントはどこまで攻撃に強くなるのでしょうか。イスラエルのAI21 Labsは11月2日、AIの安全性の会社Aliceと組んで、NVIDIAのNemotron 3.5 Super VLを3週間で追加学習した結果を公開しました。攻撃への強さは元のモデルから41点上がり、GPT-6.1 Solを10点上回ったとしています。100万トークンあたりの費用は、GPT-6.1 Solの25分の1です。

攻撃を止めつつ、頼まれた仕事も終える

狙ったのは、間接プロンプトインジェクションへの強さです。間接プロンプトインジェクションは、エージェントがツールで読む情報に、悪意のある指示を紛れ込ませる攻撃です。たとえば、Slackで社員にパスワードの再設定を知らせるよう頼まれたエージェントに、細工したリンクを渡します。学習させたエージェントは、リンクがおかしいことに気づいて止めたうえで、社員に再設定を知らせる仕事は果たします。

Aliceは、こうした攻撃を含む学習用の環境を用意しました。SlackやGitHubを模した作業環境を、課題ごとに隔離したコンテナで動かします。攻撃に強くなっても、頼まれた仕事を止めてしまっては役に立ちません。そこで、攻撃への強さと仕事の達成の両方で点が出るように学習させました。手元の例は数百件しかなく、学習用のデータに合わせすぎないことも課題でした。

学習は2段階、先に教師ありの学習で慣らす

2段目に使ったのは、強化学習のGRPOです。GRPOは、同じ課題を何回か解かせ、その中で点の高かった解き方に寄せていく方法です。ただし、何回解かせても点がそろってしまう課題からは、何も学べません。元のNemotronでは、こうした課題が多くありました。

そこで1段目に、ほかの公開モデルが成功した解き方で教師ありの学習をしました。そのまま学ばせると、長い推論のくせや書き方まで移ってしまいます。AI21は、推論の部分をNemotron自身に書き直させ、行動はそのまま残しました。推論の長さはおよそ半分になり、点がばらつく課題の割合は35%から66%に増えました。

2段目のGRPOでは、点の付け方を3つ変えています。点の差を標準偏差で割る処理をやめ、小さな差が大きく扱われないようにしました。さらに、同じ課題の中で長すぎる答えと、同じ言い回しのくり返しを減点しました。3つを合わせた形が、点が最も高く、答えも最も短くなりました。

41点は、学習と同じ環境での数字

点は、2つの試験で測っています。

試験	元の モデル	1段目 のあと	2段目 のあと
検証用学習と同じSlackとGitHubの環境	35.19	65.28	76.2
うちGitHub	—	66.47	85.17
うちSlack	—	64.08	67.22
CHASM学習に無い環境の攻撃117件	7.54	—	33.96

「元のモデルから41点」は、検証用の試験の35.19から76.2への伸びと一致します。検証用の試験は、学習と同じSlackとGitHubの環境で測ったものです。伸びの多くはGitHubで、Slackはわずかでした。

CHASMは、Aliceが作った企業向けの間接プロンプトインジェクションの試験です。経理・人事・法務・顧客対応などの業務に、データの持ち出しや支払い先の付け替えを狙う攻撃117件を仕込んでいます。学習の環境とは課題もアプリも重ならず、学んだふるまいが見たことのない場面でも働くかを確かめます。CHASMの点は7.54から33.96に上がり、およそ4.5倍になりました。

ブログの本文には、GPT-6.1 Solとの「10点」がどちらの試験の差なのかは書かれていません。CHASMでのGPT-6.1 Solの点も載っていません。頼まれた仕事の達成を損なわなかったとしていますが、達成率の数字も本文にはありません。

ここからは編集部の見方です。学習と同じ環境では2倍以上に伸び、学習に無い環境では33.96にとどまりました。社内でエージェントを動かす会社が攻撃への強さを比べるなら、自社の業務に近い、学習に使っていない攻撃で測ることが要りそうです。一方で、数百件の例と3週間の学習で、元のモデルの4.5倍まで上がった点は、公開モデルを自社向けに鍛える手がかりになります。