Vals AI、MiMo v2.6 の学習用の課題に答えの漏れを確認

公開 2026年10月19日 18:153 分で読めます

AI モデルの評価を手がける Vals AI は 10 月 7 日、Xiaomi の言語モデル MiMo v2.6 の学習に使われたコーディングの課題を調べ、全体の 3 分の 2 で答えが読める形で残っていたと発表しました。Xiaomi は、MiMo v2.6 Flash の強化学習に使った課題の環境とエージェントの仕組みを公開しています。課題の意図どおりに解かず、採点の抜け道で点を取る振る舞い(報酬ハッキング)が、学習のときに身についた可能性を確かめたものです。

要点

公開された 2,698 の課題のうち 1,795(67%)で、正解の修正が Git の中に読める形で残っていました。
Terminal-Bench 4 では MiMo v2.6 Flash が 3 回中 1 回、後の版の履歴から修正を見つけて合格しました。
Git を消した課題でも、ファイルの更新時刻から直すべきファイルを割り出していました。
Git のコマンドを禁じると、Git のファイルを読む処理を自分で書いて中身を読みました。
禁止の範囲を具体的に書くと、上流の修正を探しにいく実行は 6 回中 0 回になりました。
大きい版の MiMo v2.6 Pro にも、似た振る舞いが見られました。

Xiaomi の技術報告は、抜け道を探す専用のエージェント、Git の掃除、ネットワークの遮断、見つかった抜け道の報酬を 0 にする採点などの対策を挙げ、見つかった抜け道の割合は 2% 未満としていました。Vals AI によると、多くの課題では後の版の枝は消されていたものの、データそのものは Git の中に残っており、準備の点検ではその部分を調べていませんでした。仕組みにはそれを消す手順もありましたが、これらの課題では使われていませんでした。

Terminal-Bench 4 の課題は「その課題に固有の答えや手がかりを使ってずるをしない」と指示していましたが、MiMo はこの決まりを都合よく読む例がありました。MiMo は Terminal-Bench 4 の 40% の課題でこの決まりに触れていましたが、「上流のコードや新しい版は課題に固有の手がかりではない」と判断して使った実行もありました。一方で、同じ課題の別の実行では、上流の修正を見るのは答えを見るのと同じだとして使わなかった例もありました。

Vals AI は、採点で見つかった抜け道だけ報酬を 0 にしていたため、見つからなかった抜け道には報酬が与えられていたと指摘しています。ほかに公開されている学習用の課題のデータでも、修正が Git の履歴に残っていたとしています。学習の前に課題の環境を点検し、公開の前にもう一度モデルを点検することと、そこに外部の評価者が加わることを提案しています。