Vals AI、米国の移民法でAIを評価 首位はFable 5.1

ビザの手続きを1つ間違えると、米国で働く資格を失うこともあります。その相談をAIにしたとき、いちばん成績のよいモデルでも、専門家が必要とみる内容の4分の1ほどが抜けていました。

AIモデルの評価を手がけるVals AIは10月28日、Talent Mobility Fundと共同で、米国の移民法でAIを試す評価「Immigration Bench」の結果を発表しました。25のモデルに262問を解かせたところ、首位はClaude Fable 5.1です。専門家が答えに求める項目の平均75.4%を満たしましたが、すべての項目を満たした問題は26.3%にとどまります。2位のClaude Opus 5.5は72.1%で、ここから67.7%までの間に10のモデルが並びました。¹

新しい決まりは、ほとんど押さえていない

違いがはっきり出たのは、2025年と2026年に変わった決まりです。こうした決まりに触れる項目は、25のモデルを合わせても7.3%しか満たされませんでした。それ以外の項目は64.0%です。首位のFable 5.1でも18.5%で、ウェブ検索を使わせても、最高はQwen 3.8 MaxとClaude Opus 5.5の43.1%でした。たとえば、留学生の在留期間の決め方を変える2026年7月の規則について、検索なしで、規則の前と後に入国した人を分けて答えたモデルはありません。検索ありでも3つだけです。

もう一つの弱点は、相談した人の事情に当てはめることです。在留資格の段階や申請の経緯など、本人の事情を確かめる項目は43%しか満たされませんでした。法律の説明や次の手順を示す項目は63%、決まった誤りを避ける項目は86%です。AIが聞き返しても、全体の点はほとんど変わっていません。²

検索は効くが、時間がかかる

ウェブ検索を使わせると、25のモデルの平均は4.7ポイント上がりました。雇う側の会社の質問では、10.4ポイント上がっています。そのかわり、会話は長くなります。Claude Opus 5.5は、検索なしなら1回の相談が中央値13分のところ、検索ありでは70分でした。検索ありの首位はQwen 3.8 Maxの77.5%です。ただ、答えが長いほど項目に当たりやすく、長さをならすとMetaのMuse Wonder Full（Meta、エージェント向けモデルMuse Wonderを公開）が首位になるとしています。³

費用は、Fable 5.1が1問あたり約2.11ドルです。Opus 5.5はトークンの単価が半分以下ですが、出力が約2.5倍あり、1問2.16ドルとほぼ同じでした。Grok 4.7とGPT-6.1 Solは約24セントで、Fable 5.1との差は8ポイントほどです。⁴

ビザの相談に使うなら（編集部の見方）

制度の全体はつかめても、自分の場合の判断は任せられない。わりと実感どおりの結果です。留学や赴任の準備で使うなら、ビザの種類や用語の確認にとどめ、2025年以降に変わった点は、USCIS（米国の移民局）や大使館の案内、留学先や勤め先の担当者に確かめるのが安全です。報告も、最近の決まりは検索の有無にかかわらず、政府の一次情報で確かめるよう勧めています。

試したのは英語の質問で、各社のAPIを既定の設定で呼んだ結果です。ChatGPTやGeminiのアプリは試しておらず、日本語で聞いたときの差も示されていません。採点役のClaude Sonnet 5は、上位のClaudeと同じAnthropicのモデルです。Fable 5.1の首位ははっきりしていますが、その後ろの10のモデルは4.4ポイントの間に並んでいて、順位より傾向として読むのがよいかもしれません。

YOBITSUGI AIでは、首位のClaude Fable 5.1と、Claude Opus、Claude Sonnet、Claude Haikuを使えます。OpenAIのGPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、GoogleのGemini 4 ArgonとGemini 3.8 Flash、xAIのGrok 4.7も使えます。DeepSeekのDeepSeek V4.1 FlashとDeepSeek V4 Pro、Mistral AIのMistral Large 4にも対応しています。Muse Wonder FullやQwen 3.8 Maxなどは、現時点の対応モデルには含まれていません。