Artificial Analysis、AI の話し方を測る評価を公開

公開 2026年10月20日 07:322 分で読めます

AI モデルの評価を手がける Artificial Analysis は 10 月 19 日、AI モデルの性格と話し方を測る評価「AA-PersonalityBench」を公開しました。同じように正しい答えでも、モデルによって使った感じが違うことに注目し、モデルが何も指示されていないときの書き方の特徴を数値にします。

要点

30 の特徴ごとに 30 問、合わせて 900 問を、36 のモデルに出しました。
同じ問いへの 2 つの答えを、複数の AI の採点役が、モデル名を伏せて見比べます。
30 の特徴は、表現の豊かさ・整理・情報の多さ・誠実さ・温かさなど 8 つの指標にまとめます。
答えの長さや見出し・強調の使い方など 21 の特徴は、プログラムで数えます。
特徴は良し悪しではなく、どれだけ強く表れるかを測るとしています。
問いの大半は伏せ、特徴ごとに 2 問だけを見本として公開しています。

8 つの指標には「温かさ」「確信の強さ」「想像力」のほか、決まり文句の多い文を表す「Slop」も含まれます。相手に合わせすぎる傾向(Sycophantic)は、誠実さの指標では逆向きに数えます。点数には 95% の信頼区間が付き、区間が重なるモデルどうしは差があるとは言えないとしています。見本として示された「親しみやすさ」の点では、Claude Opus 5.5・Gemini 4 Argon・Claude Fable 5.1 などの区間が重なっていました。

日本の利用者にとって

問いと答えは英語で、日本語での話し方は測っていません。AI を選ぶときに、正確さとは別の「答え方の好み」を比べる材料になります。

YOBITSUGI AI で使えるか

これは評価の発表です。結果に出ているモデルのうち、YOBITSUGI AI では Anthropic の Claude Opus・Claude Sonnet・Claude Fable の系列と、OpenAI の GPT-6 Astra・GPT-6.1 Sol、xAI の Grok 4.7 を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。