LLM-jp、法令と判例で AI の差別の判断を測るデータを公開

国立情報学研究所 大規模言語モデル研究開発センター(LLMC)は 10 月 20 日、「日本語評価データセット 2 件を公開」と告知しました。告知のページには詳しい説明がありませんが、同じ研究グループ LLM-jp の Hugging Face では、AI が差別や社会的なバイアスをどれだけ正しく判断できるかを測る日本語のデータセット「BiasCLASP」が公開されています(10 月 19〜20 日に登録・更新)。

要点

• BiasCLASP は、差別を禁じる日本の法令に関する判例などから作った評価用のデータです。
• 対象は、雇用と医療の提供に関わる分野の法令です。
• 2 つの事例のどちらが法令に違反するかを選ぶ問題が 151 件あります(難易度は低)。
• 事例から違反した行為と法令の条項を挙げる問題が 98 件あります(難易度は高)。
• 条項を挙げる問題は、点数を決めず、複数のモデルの答えを見比べて評価する形です。
• ライセンスは CC BY 4.0 で、違法な差別の記述を含むことに注意して使うよう求めています。

元の事例には、出典、おおよその発生年、バイアスの種類、差別をした側とされた側、問題だと判断した主体、法令違反の有無、違反した条項などの情報が付いています。問題では事例の発生年も考えて判断するよう求めています。詳しい作り方は、2026 年度の人工知能学会全国大会の論文「法令に基づくローカライゼーションによる社会的バイアス評価」で説明しています。

日本の利用者にとって

海外で作られた偏りの評価をそのまま訳すのではなく、日本の法令と判例をもとに作ったデータです。日本で使う AI が、日本の決まりに照らして差別を見分けられるかを確かめる材料になります。

YOBITSUGI AI で使えるか

これは AI を評価するためのデータセットの公開で、モデルの発表ではありません。