SB Intuitions、日本語の対話評価 J-MultiChallenge
公開 3 分で読めます
SB Intuitions は 9 月 28 日、言語モデルが何度もやり取りする会話(マルチターン)の中で、前の指示や情報を踏まえて適切に答えられるかを測る日本語のベンチマーク「J-MultiChallenge」を公開しました。Scale AI が公開した英語のベンチマーク「MultiChallenge」を日本語にしたもので、データは Hugging Face で公開しています。
要点
- 問題は 273 件で、ライセンスは CC BY 4.0 です。
- 指示の保持・記憶からの推論・版の編集・一貫性の 4 つの観点で評価します。
- 自社の翻訳モデル Sarashina3 translate で訳し、2 人で確認して直しました。
- 日本語では成り立たない 19 件は、日本語で成り立つ問題に作り替えました。
- 採点は gpt-oss-120b が行い、人の確認では 100 件中 97 件の判定が妥当でした。
- 最も高かったのは思考ありの Qwen3.5-27B の 0.680 で、gpt-5.5 は 0.662 でした。
会話の最後のユーザーの発言に対するモデルの答えを、「はい・いいえ」で判定できる質問で採点し、「はい」の割合をスコアにします。例えば「1 文 15 語以内」という英語の条件は、日本語に合わせて「1 文 50 文字以内」に作り替えました。外部の知識がないと答えられない 53 件には印を付け、目的に応じて分けて評価できるようにしています。
評価したすべてのモデルで、思考(答える前の推論)ありのほうがスコアが高く、特に最初の指示を守り続ける「指示の保持」で差が大きかったとしています。国内のモデルは Sarashina3 mini が 0.261、Sarashina3 nano が 0.272 で、SB Intuitions は、上位のモデルとの差が大きく、伸びしろがよく見えるベンチマークになっているとしています。
日本の利用者にとって
日本語の言語モデルの、複数回のやり取りでの力を比べるためのベンチマークです。SB Intuitions は日本語の LLM の評価に使ってほしいとし、意見を Hugging Face の discussions で受け付けています。
YOBITSUGI AI で使えるか
これはベンチマークの発表です。結果に出ているモデルは、いずれも現時点の YOBITSUGI AI の対応モデルには含まれていません(Qwen は対応を準備中の AI です)。
出典
- J-MultiChallenge：日本語マルチターン対話能力評価ベンチマークの公開(SB Intuitions tech blog・2026年9月28日)
- sbintuitions/J-MultiChallenge(Hugging Face・SB Intuitions のデータの説明)
