OpenAI、心の健康の会話の評価 MentalHealthBench を公開
公開 3 分で読めます
OpenAI は 9 月 23 日、心の健康(メンタルヘルス)に関する会話で、AI の答えがどれだけ適切かを評価するベンチマーク「MentalHealthBench」を公開しました。22 か国の有資格の心理職と精神科医 80 人あまりと共同で作ったもので、ほかの研究者が手法を確かめたり、自分で評価したりできるよう公開しています。
要点
- 会話は 1,215 件で、日常の相談から、すぐに現実の支援が要る緊急の状況までを含みます。
- 利用者は成人・13〜17 歳の 10 代・介護や養育をする人・臨床の専門家の 4 種類です。
- 専門家が会話ごとに、答えに含めるべき点と避けるべき点を -10〜+10 の重みで決めました。
- 各会話は 3 人以上の専門家が確かめ、採点は GPT-5.6 Sol が基準に沿って自動で行います。
- 結果は GPT-6 Astra が 57.3%、GPT-6 Sol が 53.9%、Claude Opus 5.5 が 52.4% でした。
- 専門家が書いた答えは 38.5% で、評価したモデルの多くより低い結果でした。
論文では、ほかに GPT-6 Luna が 50.2%、Grok 4.7 が 41.3%、Gemini 3.8 Flash が 35.5%、Gemini 3.1 Pro が 32.1% でした。ベンチマークも評価も OpenAI が行ったものです。専門家の答えが低かった理由について、OpenAI は、専門家は対面の会話のように 1 つの質問や短い言葉で答えることが多く、得られる点が少なかったためだと見ています。
OpenAI は別に、AI に心の健康の相談をしたことがある 16 か国の成人 44 人にも答えを評価してもらいました。利用者は実際に取れる次の一歩や口調を重く見る一方、専門家は状況を確かめることや、あいまいな状況を慎重に読み取ることを重く見る傾向がありました。OpenAI は、ChatGPT はセラピーや専門的なケアの代わりにはならないとしたうえで、地域の相談窓口や信頼できる人など現実の支援へつなぐ AI に向けた進み具合を測るためのものだとしています。
日本の利用者にとって
論文の概要の図に示された英語以外の会話の言語(スペイン語・ヒンディー語など 10 言語)に、日本語は含まれていません。発表では、日本での提供には触れていません。
YOBITSUGI AI で使えるか
これはベンチマークの発表です。評価されたモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra と GPT-6 Luna、xAI の Grok 4.7、Google の Gemini 3.1 Pro と Gemini 3.8 Flash を使えます。Anthropic の Claude Opus・Claude Sonnet・Claude Haiku・Claude Fable の系列も使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。
出典
- Introducing MentalHealthBench(OpenAI News・2026年9月23日)
- MentalHealthBench: An Expert-Informed Benchmark of AI Capabilities in Realistic Mental Health Conversations(OpenAI・論文の PDF)
