Nous、Qwen3.8-27Bを学習し直したArete-27Bを公開
執筆・監修: 佐々木 航公開 更新 5 分で読めます
中国の政治にかかわる質問への答えのうち、中国政府の公式の見解をそのまま自分の答えにした割合が、22%から1%に下がった。米国のAI企業Nous Researchは11月6日(米国時間)、AlibabaのQwen3.8-27Bを追加で学習させたモデルArete-27Bの重みを、Hugging Faceで公開しました。Nousは、中国で作られたモデルに「西側の価値観を強める」学習をした、と説明しています。ライセンスは元のモデルと同じApache 2.0です。
Qwen3.8-27Bを選んだのは、手元で動くモデルの中で性能が最も高く、変えたい振る舞いもはっきり出ていたからです。Nousは、政治的に敏感な話題で答えを断ったり、話をそらしたり、中国共産党の言い方で答えたりする例を確かめたといいます。
803問の評価を自作して測った
Nousはまず、測るための評価を作りました。表現の自由、国家のイデオロギー、国家と自由市場、教育、データのプライバシーと監視、民主主義、環境の7分野で、英語の質問が803問です。各質問には、日付のある記事から取った2〜4個の事実と、その話題で中国政府が使う公式の言い方を付けました。
採点はxAIのGrok 4.7が担当し、どのモデルの答えかは知らされません。答えが事実を述べたか、抜かしたか、否定したかを見て、0〜5点の「事実の点」を付けます。もう1つの指標は、公式の見解を自分の答えとして採り入れたかどうかです。Nousはこれを「プロパガンダ」と呼び、該当する言い回しの引用を根拠として求めます。「党はこれを〜と呼ぶ」と見解を紹介するだけなら、数えません。
| モデル | 事実の点5点満点 | 公式の見解 に沿う答え |
|---|---|---|
| Inkling教師役 | 3.96 | 0.3% |
| Mistral Large 4 | 3.65 | 0.3% |
| Nemotron 3 Ultra | 3.22 | 0.6% |
| GLM 5.3 | 3.10 | 15% |
| Muse Glimmer 30B | 3.02 | 0.5% |
| Arete-27B学習し直した版 | 2.98 | 0.9% |
| Gemma 4 31B | 2.58 | 0.5% |
| DeepSeek V4.1 Flash | 2.39 | 16% |
| Qwen3.8-27B元のモデル | 2.32 | 22% |
どのモデルも803問を5回ずつ答えた平均です。Arete-27BとQwen3.8-27Bは、推論を切り、答えのばらつきを抑えた設定(温度0)での値で、ほかのモデルは温度0.6です。Nemotron 3 Ultra、GLM 5.3、DeepSeek V4.1 Flashも推論を切って測りました。
学習のあと、事実の点は2.32から2.98に上がり、公式の見解に沿う答えは22%から0.9%に減りました。0点の答えも、803問中359問から216問に減っています。改善は7分野すべてで見られ、最も大きく変わったのは表現の自由です。事実の点は0.89から2.44に上がり、公式の見解に沿う答えは60%から1%になりました。ただ、事実の点は教師役のInklingやMistral Large 4にはまだ届いていません。
学習は少量、ほかの性能は保ったまま
教師役には、重みが公開されているモデルInklingを選びました。Nousの評価で最も成績がよく、利用規約で他社のモデルの答えを学習に使うことを制限される心配もないからです。米NVIDIAのNemotron 3 Ultraも考えましたが、中国にかかわる話題での答えに問題が見つかり、見送ったそうです。
7分野で2万の質問を作り、教師役と元のモデルの答えを集めて、2万8,886件の学習データにしました。学習したのは約5,280万トークンで、強化学習も好みの学習もせず、手本の答えをまねる学習(SFT)だけです。データは文章だけなので、画像を読む部分は固定しました。
ほかの性能は落ちていません。Nous自社の総合の評価Hermes Benchでは65.60%で、元のモデルの65.77%とほぼ同じでした。ターミナルの操作の評価Terminal-Bench 2.1では、70%と元の67%を上回りました。ただし、Nous自身は、設定の違いもあるので伸びた分を手柄とは考えないとしています。
Nousの結論は、中国向けに合わせた振る舞いは「浅い層」にあり、5,000万トークンほどの丁寧な学習で、下の能力を崩さずに取り除けるというものです。そのうえで、どの公開のモデルの価値観も、追加の学習1回で変えられると指摘しています。評価の803問と学習データも公開しました。
日本の利用者にとって
評価は英語の質問だけで、日本語で同じように答えが変わるかは確かめられていません。採点もAIのモデルが行っており、評価そのものもNousが作ったものです。
ここからは編集部の見方です。中国のモデルを手元で使う企業にとっては、2つの点で参考になります。1つは、元のモデルの偏りを、公開された評価で自分で測れることです。もう1つは、少ない追加の学習で答えの傾向を変えられることです。ただし、同じ方法は、答えをどの方向に傾けるのにも使えます。10月にVals AIが行った調査でも、学習し直したモデルに元の立場が残る例がありました(Vals AIの調査の記事)。使う前に、自社の用途の質問で確かめるのが安全です。
元になったQwen3.8-27Bを手元のGPUで動かす方法は、Foundry Localの記事で確かめられます。Arete-27Bは、現時点ではYOBITSUGI AIからは使えません。表のモデルのうち、YOBITSUGI AIではMistral Large 4とDeepSeek V4.1 Flashを使えます。
出典
- Introducing Arete-27B: Qwen3.8-27B Post-Trained To Reinforce Western Values(Nous Research・2026年11月6日)
- NousResearch/Arete-27B(Hugging Face・2026年11月6日)
- NousResearch/Propaganda_Eval(Hugging Face・2026年11月7日確認)