Artificial Analysis、HealthBench の結果を公開

AI モデルの評価を手がける Artificial Analysis は 10 月 19 日、健康に関する会話での AI の答えを評価する「HealthBench」と「HealthBench Professional」の順位表を公開しました。どちらも OpenAI が作った評価で、医師が決めた採点の基準(ルーブリック)に沿って、答えが基準の点をどれだけ満たすかを採点します。

要点

• HealthBench は一般の人や医療の従事者との 5,000 の会話で、救急への案内など 7 つの主題を含みます。
• HealthBench Professional は臨床医との 525 の会話で、相談・文書・調べものの作業を含みます。
• 2,000 字より長い答えは点を下げ、短い答えは上げる調整をした点数も載せています。
• Professional(調整後)は GPT-6 Astra 66.0%、GPT-6.1 Sol 65.1% が上位でした。
• Claude Opus 5.5 は調整前は 71.4% で最も高く、答えが長いため調整後は 59.9% でした。
• HealthBench(調整後)の首位は Claude Sonnet 5.5 の 62.1% でした。

Professional では、費用と点数の釣り合いで最もよい組み合わせは、OpenAI の 4 つのモデルでした。たとえば GPT-6 Luna は 61.9% で、1 件の費用は $0.004 と、GPT-6 Astra の 2% に満たないとしています。HealthBench では、DeepSeek V4.1 Flash が 1 件 $0.005 で 60.9% と、Claude Sonnet 5.5(1 件 $0.08)と約 1 ポイント差でした。答えの長さによる違いも大きく、答えが短い GPT-6 Sol は分かりやすさの点が最も高い一方、必要な情報をそろえているかの点は最も低かったとしています。採点は OpenAI の元の評価と同じく、GPT-5.4 と GPT-4.1 が行いました。

日本の利用者にとって

評価の会話は英語で、日本語や日本の医療の制度での答えは測っていません。健康の相談に AI を使うときの、答えの長さと情報のそろい方の違いを知る材料になります。AI の答えは医師の判断の代わりにはなりません。

YOBITSUGI AI で使えるか

これは評価の結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra・GPT-6.1 Sol・GPT-6 Luna、Anthropic の Claude Opus・Claude Sonnet・Claude Fable の系列、DeepSeek の DeepSeek V4.1 Flash を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。