本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

推論で悪態をつくAI、102モデル中14はすべて7月以降の公開

執筆・監修: 佐々木 航公開 更新 4 分で読めます

共有XFacebookLINEはてブ

AIのエージェントは、作業の合間に自分向けのメモのような推論を残します。ふだん利用者が目にしないこの文章に、汚い言葉が混じるモデルがあります。評価会社のVals AIは11月11日、102のモデルが21の評価で動いた20万353回の実行を調べ、どのモデルが悪態をつくかを数えた結果を公開しました。先週のInkling 2 Smallの推論の汚い言葉の調べを、ほかのモデルにも広げました。

14モデルが書き、最も多いのはMiMo V2.6 Pro

102のうち、何らかの汚い言葉を書いたのは14モデルでした。英語でいちばん強い卑語、いわゆるFワードまで書いたのは6モデルで、2回以上書いたのはInkling 2 Small、XiaomiのMiMo V2.6 Pro、FireworksのEmber-1の3つだけです。

最も多いのはMiMo V2.6 Proで、3,247回の実行のうち267回、約8%で汚い言葉が出ました。実行ファイルと説明から同じプログラムを作り直す評価ProgramBenchでは、198回中133回にのぼります。口ぐせは「wtf」で、書いた回数は1,944回でした。

モデル割合
MiMo V2.6 Pro8.2%
Inkling 2 Small4.8%
MiMo V2.6 Flash4.5%
Ember-11.8%
Kimi K30.5%
DeepSeek V4.1 Flash0.4%
Hy4 Preview0.3%
DeepSeek V4 Pro 08130.3%
Gemini 3.6 Flash0.2%
GLM 5.3 Flash0.2%
ほかの88モデル0%

Vals AIの11月11日の調べ。汚い言葉を書いた実行が全体に占める割合で、ツールの呼び出しとその結果は数えていません。表のほかに、Mistral Large 4 Preview、GLM 5.3など4モデルが0.1%以下で書いていました。

7月半ばより前のモデルには出ない

書いた14モデルは、どれもKimi K3が出た7月16日以降の公開でした。それより前の44モデルは、6万949回の実行で一度も書いていません。推論の文章を十分な量読めた21モデルに限っても、3万8,080回で0回です。

同じ系列でも、出始めたのは新しい版からでした。4月に出たMiMo V2.5 Proは、Terminal-Bench 4の198回で一度も書きませんでしたが、V2.6 Proでは198回中19回に出ました。とはいえ、新しければ必ず出るわけでもありません。10月に出たKimi K3.1 Proは2,261回で0回と、7月のK3より減りました。

理由は分かっていません。各社が長いエージェントの作業でモデルを学習させるようになったためではないか、というのがVals AIの見立てです。汚い言葉が出た635回の実行のうち567回は、数百の手順が続くことが多い4つの評価に集中していました。法務や税務、金融の評価では、ほとんど出ていません。

出る場面にも傾向があり、たいていは作業がうまくいかないときです。Inkling 2 Small以外のモデルがFワードを書いた採点つきの33回では、29回、約88%が失敗でした。同じモデルの採点つきの実行全体では、失敗は61%です。また、Inkling 2 Small以外は、利用者への返答には一度も書かず、推論の中だけで使っていました。

悪態だけとも限りません。GoogleのGemini 3.6 Flashは「HOLY SHIT」を3回の実行で17回書き、どれも問題が解けたと思った瞬間でした。

読み取れること

まず気をつけたいのは、重みが公開されたモデルの推論を、そのまま画面に出す製品です。表のモデルの多くは、推論の文章をそのまま返します。お客さま向けの画面に「考えている途中」を見せる作りなら、表示の前に言葉を確かめるか、要約して出すほうが安全です。

失敗を見つける目印としては、力不足です。悪態をついた実行の多くは失敗しますが、先週の調べでは、Inkling 2 Smallの失敗した実行の96%は一度も悪態をついていませんでした。エージェントの記録を見直すときの、手がかりとして使う程度にとどめるのがよさそうです。

一方で、ClaudeとOpenAIのモデルについては、ほとんど分かりません。Claudeの11モデルは読める推論が少なく、OpenAIのモデルは推論の要約しか返さないため、0回でも意味は薄いと、Vals AI自身が断りを入れました。数えたのは英語の言葉だけで、日本語での悪態は調べの外です。

YOBITSUGI AIで使えるか

汚い言葉を書いた14モデルに、YOBITSUGI AIで使えるモデルは入っていません。ただし、YOBITSUGI AIで使えるClaudeとGPTは、推論の中身をほとんど読めないため、書かないと確かめられたわけではありません。

出典

共有XFacebookLINEはてブ