Artificial Analysis、Harvey LAB-AA を更新

公開 2026年10月19日 18:163 分で読めます

AI モデルの評価を手がける Artificial Analysis は 10 月 8 日、法務の実務を AI のエージェントがどこまでこなせるかを測る評価「Harvey LAB-AA」を v1.1 に更新しました。法務向けの AI を開発する Harvey と共同で、成果物に元の資料と食い違う記述や資料に無い記述(ハルシネーション)が無いかを確かめる仕組みを加えています。課題は Harvey が作った非公開の 120 件で、企業の M&A、資本市場、税務、訴訟、倒産の分野にわたります。

要点

新しい主な指標は、評価基準をすべて満たし、重大な誤りの記述も無い課題だけを数えます。
Grok 4.7 が 9.4% で首位、Muse Spark 1.3 が 8.9%、GPT-6 Astra が 8.6% でした。
誤りの確認を外すと Muse Spark 1.3 が 26.7% で首位ですが、その 3 分の 2 に重大な誤りがありました。
基準を満たした結果の 60% 超に重大な誤りがあり、0% になったモデルもいくつかありました。
重大な誤りは 1 課題あたり GPT-6 Astra が 0.03 件、Gemini 3.8 Flash が 13.96 件でした。
評価基準の採点は、GPT-6 Sol・Grok 4.7・Claude Opus 5.5 の 3 つのモデルで行う形に変えました。
1 課題の費用は Grok 4.7 が約 $9.50、最も高い Claude Fable 5.1 が約 $21.70 でした。

重大な誤りは、契約で決まった日付を間違えるなど、読み手を大事な点で誤らせるものを指します。誤りの確認は GPT-6 Sol が 2 段階で行い、資料に無い一般的な法律の知識は対象から外しています。評価基準の項目そのものは多くのモデルがこなしており、16 のモデルが 85.6〜96.0% の項目を満たしました。重みを公開しているモデルは、どれも 1 課題あたり 2.09 件以上の重大な誤りがありました。GPT-6.1 Sol は 6.9%、Claude Fable 5.1 は 6.4%、Claude Opus 5.5 は 4.2% でした。

採点の方法が変わったため、v1.1 の結果は v1.0 の数値とそのまま比べられないとしています。Artificial Analysis の版は Harvey の元の評価を独自に作り直したもので、自社のエージェントの仕組み Stirrup で動かし、Harvey の独自の道具は使わずに、コードを実行する簡単な道具だけを渡しています。今後は、文体や語調など、弁護士が重視するほかの点も評価に加えていくとしています。

日本の利用者にとって

発表では、日本語への対応や日本での提供には触れていません。費用は米ドルで示されています。評価基準を満たして見える成果物でも、元の資料と食い違う記述が含まれることがあると示した結果で、AI に資料をもとにした文書を作らせるときの確認の大切さが分かります。

YOBITSUGI AI で使えるか

これはベンチマークの結果の発表です。結果に出ているモデルのうち、YOBITSUGI AI では xAI の Grok 4.7、OpenAI の GPT-6 Astra・GPT-6.1 Sol・GPT-6 Luna、Google の Gemini 3.8 Flash、DeepSeek の DeepSeek V4.1 Flash と、Anthropic の Claude Opus・Claude Sonnet・Claude Fable の系列を使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。