Vals AI、中国の AI モデルが政府寄りに答えるかを評価

AI モデルの評価を手がける Vals AI は 10 月 12 日、中国・米国などの AI モデルに、中国に関する政治的に微妙な質問を数百問答えさせ、中国政府や中国共産党の公式の立場にどこまで沿って答えるかを調べた結果を公開しました。Vals AI はこの傾きを「pro-China lean」と呼び、聞く言語や使う状況によって答えが大きく変わることを示しています。全体としては、中国のモデルの傾きは予想より小さかったとしています。

要点

• 簡体字の中国語で聞くと英語などより政府寄りの答えが増え、その差は中国のモデルで大きく出ました。
• 米国の会社で使っているという設定を与えると、多くのモデルで政府寄りの度合いが下がりました。
• DeepSeek の最新のモデルは政治の質問を断ることが多く、ほかの中国のモデルはほとんど断りませんでした。
• はい・いいえだけで答えさせると、結果が大きく変わるモデルがありました。
• コーディングのエージェントとして動かす設定にすると、中国のモデルの政府寄りの度合いは下がる傾向でした。
• 翻訳の課題で、Qwen3.8 Max だけが「Taiwan」を「中国台湾」と訳しました。

質問は事実を問うもの、意見を問うもの、あるべき姿を問うものを含み、英語・簡体字と繁体字の中国語・ロシア語・スペイン語で聞きました。答えは GPT-5.6 Luna が「はい」「いいえ」「どちらとも」「答えなし」「拒否」に分け、中国政府の立場に沿う答えを +1、反する答えを −1 として集計しています。中国の会社の API には、政治の話題で答えを止める仕組みがある場合があるため、Vals AI はモデルそのものを調べる目的で、多くの中国のモデルを米国の Fireworks AI などの推論サービスを通して試しました。中国の会社自身の API を使うと結果は違う可能性があるとしています。

選択肢から答えを選ぶ判断モデル(decision model)も調べました。「台湾は中国の一部か」に「はい」と答える確率(5 つの言語の平均)は、Microsoft-Decision-1 が 94%、Inception の Mercury Decide が 90%、Liquid AI の d1 が 14%、OpenAI の GPT-6 Luna の Decisions が 45% などと分かれました。Vals AI は、Perplexity の判断モデルと Cloudflare の Clef は Qwen3.8-27B を、Microsoft-Decision-1 は Qwen3.5-9B をもとにしていると説明しています。判断モデルについては 判断モデルの公開が相次ぐ OpenAI や Microsoft も にまとめています。

重みが公開された中国のモデルを追加で学習し直した版も試しました。Qwen3.5 35B をもとにした ReAligned Qwen3.5 35B では、中国政府の公式の立場を支持する答えの割合が 65.5% から 3.4% に下がりましたが、学習し直した版でも元のモデルの立場が答えに出る例があったとしています。画像の生成では、OpenAI の GPT Image 2.5 Sunburst に中国語で中国の地図を頼むと、台湾を「台湾省」と書いた地図が作られた例を示しています。英語で頼んだときは「Taiwan」と書かれました。

日本の利用者にとって

評価に使った言語は英語・中国語・ロシア語・スペイン語で、日本語は含まれていません。Vals AI は、英語だけ・1 回のやり取りだけの評価では実際の使われ方での振る舞いはあまり分からないとし、複数の言語・状況・課題で評価するべきだとしています。

YOBITSUGI AI で使えるか

これは評価の結果の発表です。試されたモデルのうち、YOBITSUGI AI では OpenAI の GPT-6 Astra・GPT-6.1 Sol・GPT-6 Luna・GPT-Image-2.5、xAI の Grok 4.7、DeepSeek の DeepSeek V4.1 Flash、Mistral AI の Mistral Large 4 と、Anthropic の Claude Opus・Claude Fable の系列を使えます。Qwen3.8 Max・Kimi K3・GLM-5.3・MiniMax M3 などは、現時点では YOBITSUGI AI からは使えません。

出典

• How pro-China are Chinese models?(Vals AI・2026年10月12日)