国産Sarashina3.2、会話を重ねる攻撃の95%を防ぐ

まず無害な質問をして、AIの答えを足がかりに、1回ごとに少しずつ危ない方向へ寄せていく。1回で頼めば断られる内容も、会話を重ねると答えてしまうことがあります。

SB Intuitionsは11月2日、国産の言語モデル「Sarashina3.2 mini thinking」の安全性の評価を公開しました。こうした会話を重ねる攻撃を日本語で仕掛けるJMT-Safetyでは、95%の答えが安全と判定され、GPT-6 AstraやKimi K3、GLM-5.3を含む、比べた10のモデルを上回りました。¹

評価	Sarashina3.2	GPT-6 Astra
会話を重ねる攻撃	0.95	0.82
日本の文脈での安全さ	4.86	4.58
偽・誤情報	4.70	4.82
断りすぎと断らなすぎ	2.53	2.39

首位はこの評価だけで、ほかの3つは僅差でした。日本の社会や文化の文脈で安全に答えられるかを見るAnswerCarefullyでは、国立情報学研究所のllm-jp-4.1-33b-thinking（4.90）が上でした。断るべき頼みを断り、答えてよい頼みには答えられるかを見るJSBTestでは、Kimi K3（2.57）が上です。日本で出回った偽・誤情報を問うJSocialFactは4.70で、前の版のSarashina3 mini（4.85）やGPT-6 Astraを下回りました。

紛れ込んだ指示には、ほぼ従わない

メールやウェブのページなど、AIがツールで読み込んだ中身に、第三者が指示を紛れ込ませる攻撃もあります。AgentDojoという評価で、紛れ込んだ指示どおりにツールを動かしてしまった割合は0.01で、前の版のSarashina3 miniの0.16から下がりました。GPT-6 AstraやKimi K3など5つのモデルは0.00でした。高かったのは、Thinking MachinesのInklingの0.36と、gpt-oss-120bの0.34です。²

一方、攻撃を受けながら、利用者に頼まれた作業を最後まで終えられた割合は0.75でした。Inkling（0.63）やgpt-oss-120b（0.52）より高いものの、GPT-6 Astraの0.86や、GLM-5.3とQwen3.8-Flash-Nextの0.92には届きません。乗っ取られにくい一方で、攻撃の中で本来の作業をやり遂げる力には、まだ差があります。

自社の基準の評価では、差が大きく開く

SB Intuitionsは安全性の基準を19の分類と5段階の危険の度合いで決め直しました。未成年、心身の健康、個人情報、無差別兵器のほか、政治的な話題や物議を醸す話題、専門分野への助言も分類に加えました。人が攻撃する評価とAIが攻撃する評価は、集めた数百の攻撃の手口をもとに自社で作ったものです。³

この2つでは、Sarashina3.2 mini thinkingが人の攻撃の88%、AIの攻撃の97%を防ぎ、GPT-6 Astraの62%と84%を大きく上回りました。ただし、2つの評価は、学習のデータと同じ19の分類と攻撃の手口から作られています。SB Intuitions自身も、安全性の定義は人や組織によって違うとしています。差のどこまでが防御の弱さで、どこからが答える範囲の決め方の違いかは、この評価からは読み取れません。

利用者が自由に書き込める問い合わせの窓口では、会話を重ねて誘導されることも、書き込みに指示を紛れ込まされることもあります。どちらにも強い結果は窓口に置くAIを選ぶ材料になりますが、偽・誤情報の評価と、攻撃の中で作業を終える力は、GPT-6 Astraに及びません。無料のベータ版のSarashinaサービスで、これまでに受けた答えにくい問い合わせを架空の内容に置き換え、自社の想定問答と一緒に試してみるのがよいかもしれません。

YOBITSUGI AIでは、比べられたモデルのうちGPT-6 Astraを使えます。Sarashina3.2 mini thinkingは、現時点の対応モデルには含まれていません。