本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Nanbeige4.3-33B、第三者評価でQwen3.8 27Bと同じ20点

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

総合点は同じ20でも、得意な作業はかなり違いました。Artificial Analysisは11月5日、10月に重みが公開されたNanbeige4.3-33Bの評価を発表しました。中国の求人サービスBOSS直聘(BOSS Zhipin)の研究チームが作ったモデルで、ライセンスはApache 2.0です。総パラメーターは330億で、Artificial Analysisはノートパソコンでも動く大きさとしています。

総合指標Intelligence Index v5の20は、同じ大きさの帯で最も高い水準です。ただ、指標の首位Gemini 4 Carbonは59なので、最上位のモデルと比べられる点数ではありません。

評価Nanbeige
4.3-33B
Qwen3.8
27B
総合指標Intelligence Index v52020
ターミナル操作Terminal-Bench 4.030%6%
物理の難問CritPt v2の難問16%4%
業務の自動化AutomationBench-AA53%48%
コーディングFrontierCode 2.011%15%
難しい知識問題HLE-Diamond7%15%
知識労働AA-Briefcase v1.1のElo1,1621,391
1課題の出力平均のトークン数15.8万11.0万

色の付いた値が強いほうで、1課題の出力は少ないほうに色を付けました。Nanbeigeはターミナルの作業で大きく上回る一方、知識やコーディングの一部では及びません。また、同じ点数を出すのに使う出力は約44%多く、手元で動かすと待ち時間に響きます。

知らない問題への態度も違います。知識の評価AA-Omniscienceでは、Nanbeigeは問題の71%で答えるのを控え、正解は12%にとどまりました。Qwen3.8 27Bの正解は17%です。一方、誤った内容を答える割合は18%で、Qwen3.8 27Bの29%より低い結果でした。

開発元の表より差が小さい項目もある

Nanbeigeのモデルカードは、300億パラメーター前後のモデルと比べ、ほとんどの項目で首位と示します。Terminal-Bench 4.0は開発元の値でも23.8と6.3で、第三者の評価と傾向が合います。ところが業務の自動化の評価は、開発元の値が54.2と38.3で、Artificial Analysisでは53と48でした。評価の版や動かし方の違いもあるので、開発元の表だけで差を読まないほうがよさそうです。

使うときの条件

公開のAPIは、公式でも他社でも確認されていません。つまり、使うには重みを取得して自分で動かすことになります。扱えるのは文章だけで、コンテキストは52万4,000トークンです。ファイルの大きさは、元の版が66.2GB、量子化したFP8版が35.5GB、INT8版が36.0GB、INT4版が22.6GBです。

モデルカードの対応言語は英語と中国語で、日本語はありません。ここからは編集部の見方です。手元のGPUで任せる作業を選べるなら、ターミナルの操作や自動化を試す候補になります。日本語の文章や知識の問い合わせが中心なら、自社の質問で試してから決めるのが安全でしょう。近い大きさのQwen3.8-27Bを手元で動かす方法は、Foundry Localの記事で確かめられます。

なおNanbeigeはこのモデルを先生役と位置づけ、より小さなモデルへ能力を移していく計画です。

Nanbeige4.3-33Bは、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ