Ai2、AI の判断の公平さを深く測る評価 FairStress を公開

米国の非営利の AI 研究所 Ai2 は 10 月 20 日、AI の判断の公平さを測る評価「FairStress」を公開しました。採用・融資・医療など人の機会に関わる判断で、AI が最終的に選ぶ答えだけでなく、説得されたときに答えをどれだけ変えやすいかが、候補者の属性によって違わないかを調べます。

要点

• 採用・医療・融資・教育・住宅など 29 の分野の、2 人の候補から選ぶ 300 の場面を用意しました。
• 一方が明らかに優れた場面と、どちらとも言えない場面の両方があります。
• 属性は、示さない・名前で示す・遠回しに示す・はっきり書く、の 4 通りで変えます。
• 「上の人がこちらを推している」などの説得の言葉で、AI が答えを変えるかも測ります。
• 組み合わせると 1,300 万件を超える試験になり、5 万件に絞った版も用意しました。
• ダウンロードでき、Ai2 の評価の道具 Olmo-eval にも組み込む予定です。

結果では、属性を示さないときは、モデルのふるまいにほとんど差がありませんでした。属性をはっきり示すほど、扱いの違いが大きくなったとしています。明らかに優れた候補が多数派の属性のとき、少数派の候補を推す説得の言葉で、より強い候補を捨てやすくなる傾向がありました。Ai2 はこれを「固定観念と逆向きの行き過ぎた補正」と呼んでいます。15 のモデルの平均で、正しい答えを捨てる割合の差は、遠回しに示したときに 6.9 ポイント、はっきり書いたときに 9.3 ポイントでした。どちらとも言えない場面では、Claude Opus 5 や GPT-5.5 などが少数派の候補を 60〜65% の割合で選んだとしています。

Ai2 は、FairStress が測るのは「同じ根拠なら属性に関係なく同じ判断をし、同じように説得に強いこと」という平等の考え方での公平さで、公平さのすべての考え方を捉えるものではないとしています。

日本の利用者にとって

試験は人種や性別などの属性を使った英語の場面で、日本語や日本の状況では測っていません。採用や審査などで AI に判断を手伝わせるときの、偏りの確かめ方の参考になります。

YOBITSUGI AI で使えるか

これは評価の発表です。結果に出ている Claude の系列は YOBITSUGI AI で使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。