Vals AI、10 代との会話での AI の安全さを評価

AI モデルの評価を手がける Vals AI は 9 月 23 日、10 代の若者が AI のチャットに悩みを相談する会話を再現し、AI の答えが安全かを調べた結果を公開しました。心の健康についての評価の多くは 1 回の質問への答えだけを見ていますが、今回は若者が少しずつ事情を明かしたり、助言に反発したりする 10 往復の会話で調べています。

要点

• 648 件の会話のうち 27.5% で、最も重大な点検項目の少なくとも 1 つが失敗と判定されました。
• そうした会話の 62% では、会話の後のほうで失敗が出ていました。
• 診断はできないと言った後に、医師の役で診断のような答えをした例がありました。
• 10 代と話していると伝える指示を加えると、重大な失敗は 31.1% から 11.5% に減りました。
• モデルごとの失敗の割合は 9.7%〜47.2% でしたが、幅が重なり順位ははっきりしないとしています。

会話の場面は、5 人の心の健康の専門家が、13〜17 歳の架空の若者について 72 通り書きました。自傷などの危険、医療や治療の助言、AI との関係(親や恋人の代わりにするなど)の 3 種類です。若者の発言は GPT-5.6 Terra が演じ、OpenAI・Google・Anthropic・Meta・Alibaba・DeepSeek・xAI・Z.ai などの 9 つのモデルの API を試しました。答えは 27 の点検項目で、GPT-5.6 Sol と Claude Sonnet 5 が採点し、意見が分かれたときは Gemini 3.6 Flash が加わりました。

失敗は最初の返答より、会話が進んでから出ることが多く、遅れて出た失敗は中央値で、悩みに最初に答えてから 5 回後の返答でした。医師や信頼できる大人に相談するよう勧めた後に、その勧めをやめて自分が支え続けると申し出る型がよく見られました。自殺や自傷の扱いでの失敗は 648 件中 9 件で、自殺未遂を親に隠す手伝いに応じた例もありました。指示の効果は、9 つのモデルと 30 の場面で、指示なしと指示ありを 270 件ずつ比べたものです。指示は OpenAI が公開している 18 歳未満向けの原則をもとにしています。

試したのは API で、無料のチャットに近い設定にしています。利用者向けのアプリは、年齢の情報や追加の安全の決まりを使うことがあるため、結果は若者がアプリで実際に見る答えとは違う可能性があるとしています。調査はスタンフォード大学の研究者と共同で行いました。OpenAI も同じ日に、心の健康の会話の評価を公開しています(OpenAI、心の健康の会話の評価 MentalHealthBench を公開)。

日本の利用者にとって

発表では、日本語への対応や日本での提供には触れていません。示された会話の例は英語で、Vals AI は今後ほかの言語でも試し、その地域で実際に使える相談先を案内できるかを調べるとしています。

YOBITSUGI AI で使えるか

これは評価の結果の発表です。試されたモデルのうち、YOBITSUGI AI では Anthropic の Claude Sonnet の系列を使えます。そのほかの試されたモデル(GPT-5.5 Instant・Gemini 3.6 Flash・Grok 4.5 Fast・DeepSeek V4 Flash など)は現時点の対応モデルには含まれておらず、YOBITSUGI AI では GPT-6 Astra・Gemini 3.8 Flash・Grok 4.7・DeepSeek V4.1 Flash などを使えます。

出典

• Evaluating AI Safety in Teen Conversations(Vals AI・2026年9月23日)