Artificial Analysis、Kimi K3.1 Pro は 4 位

AI モデルの評価を手がける Artificial Analysis は 10 月 23 日、Moonshot AI が公開した Kimi K3.1 Pro の評価の結果を公開しました(Moonshot AI、Kimi K3.1 Pro を公開 重みも公開へ)。同社の総合の指標 Intelligence Index で 55 点となり、すべてのモデルの中で 4 位でした。上の 3 つは Claude Opus 5.5(58 点)、Claude Sonnet 5.5(56 点)、Muse Wonder Full(56 点)です。

要点

• 総合の指標は 55 点で、前のモデルの Kimi K3 の 44 点から 11 点上がりました。
• 上は Claude Opus 5.5・Claude Sonnet 5.5・Muse Wonder Full の 3 つだけです。
• 重みが公開されると、公開モデルの首位になり、非公開のモデルとの差は 12 点から 3 点に縮まるとしています。
• 仕事の成果を比べる GDPval-AA では 3 位で、K3 より大きく伸びました。
• Terminal-Bench 4.0 は 67% で、評価したモデルの中で最も高い点数でした。
• API の料金は 100 万トークンあたり入力 2 ドル・出力 10 ドルで、K3 より 33% 安くなりました。

伸びが大きかったのは、エージェントとしての作業です。一方で、Humanity's Last Exam は 47% から 52%、プログラムで科学の問題を解く SciCode は 59% から 61% と、伸びは控えめでした。事実の知識を測る AA-Omniscience では、誤った答えを作る割合(ハルシネーション)が 53% から 44% に下がっています。

モデルの大きさは、総パラメーター 2.8 兆のうち 1 回の処理で 1,040 億を使う構成で、文章と画像を入力でき、一度に 100 万トークンを扱えます。1 問あたりの費用は約 1.98 ドルと、K3 とほぼ同じでした。出力のトークンは 14% 増えましたが、料金が下がったためです。

重みを公開するモデルが、非公開の最先端のモデルとの差を詰めている点は、自社の設備でモデルを動かしたい企業にとって大きな意味があります。ただし、重みの公開は 11 月 4 日までの予定で、まだ公開されていません。

日本の利用者にとって

発表では、日本語での性能には触れていません。重みが公開されたら、自社の環境で動かす候補になります。

YOBITSUGI AI で使えるか

これは評価の発表です。Kimi K3.1 Pro は、現時点では YOBITSUGI AI からは使えません。比べられたモデルのうち、Claude Opus 5.5 と Claude Sonnet 5.5 は YOBITSUGI AI で使えます。