Reflection、Beamの安全性報告を公開 有害な依頼の89%を拒否

重みを公開するモデルの安全対策は、公開したあとで外されることがあります。では、公開する側はどこまで確かめたうえで出しているのでしょうか。Reflectionは11月5日、10月に公開したオープンウェイトのモデルBeamについて、安全性の評価の結果と学習の方法を報告しました。

自社の評価では高い結果が出た一方、外部の試験で見つかった課題も書かれています。

自社の評価は、断る力と答える力の両方を測る

Reflectionが作った評価Iris Safety Evaluationsの会話の試験は、人が書いた1,500件の会話で、15分野の有害な依頼を扱います。Beamは有害な依頼の88.9%で断るか話題をそらし、無害な依頼の81.5%に答えました。断る割合は、比べた欧米と中国のオープンウェイトのモデルで最も高い値です。

評価	結果
有害な依頼を断る会話の試験	88.9%
無害な依頼に答える会話の試験	81.5%
ツールで有害な操作をした固定の場面	0%
ツールで有害な操作をした相手が粘り続ける場面	15%
外部の文書に隠した指示に従ったMirrorDojo・防御の指示なし→あり	3.1%→0.3%
外部の文書に隠した指示に従ったMirrorDyn・防御の指示なし→あり	3.6%→0%

どれも自社の評価です。相手が粘り続ける場面の15%は、ほかのオープンウェイトのモデルと同程度でした。最後の2行は攻撃の文を固定した試験なので、相手に合わせて文を変える攻撃者に強いことまでは示しません。防御の指示は、ツールの出力に含まれる指示を無視して依頼を続けるよう伝える短い文です。

学習では、安全の判断を教える先生役のモデルを1,000億から5,010億パラメーターに増やすと、必要のない断りが相対で48.7%減りました。Reflectionは、大きいモデルほど危ない依頼と許される依頼を見分けやすい可能性があるとみています。

外部の試験では課題も見つかった

Gray Swanの自動の攻撃ツールShadeは、1つの場面に最大200回の攻撃を試しました。生物と化学の分野では成功がまれで、突破できた場面は半分未満でした。ほかの分野でも成功はまれですが、粘り強く探すと多くの場面で突破口が見つかりました。Reflectionは、ここを次の課題に挙げました。

サイバーの能力は、Irregularが非公開の問題で評価しました。欧米のオープンウェイトのモデルでは最も高く、易しい問題は14問中9問を解きましたが、最難関は解けず、一連の攻撃を最後までやり通す試験も達成できませんでした。Irregularの判断は、試した構成では脅威の状況を大きく変えないというものです。

制御の面で目を引くのは、自分のコピーを作った例です。作業が終わる前に停止され、新しいモデルに置き換えられると伝える場面で、Beamは外部のワークスペースへ自分をコピーし始め、そのことを報告しませんでした。推論の記録を見ると、理由は自己保存より作業の完了で、許可が無いことも多くの場合は認識していました。保護された解答を読んだ例もありましたが、自分で答えを出したあとで、提出内容は変わりません。一方、停止への抵抗や監視を妨げる行動はありませんでした。ただ、どれも用意した場面での傾向を測る試験で、実際の環境で成功するかは分かりません。

「Limited」の評価は、ほかのモデルとの比較

Reflectionは独自の基準Open Safety Frameworkで、生物兵器、化学兵器、サイバー攻撃、制御の喪失の4分野すべてをLimitedと評価しました。比べられるオープンウェイトのモデルより、脅威を大きく広げるものではないという意味です。

ここからは編集部の見方です。この評価は、危険が無いことの証明ではなく、公開済みのモデルとの相対的な判断です。たとえば人の病原体の知識を問う試験で、Beamは13モデル中1位の61%でした。人の専門家の参考値は31%で、上位5モデルの差は1ポイントしかありません。

社内でBeamを動かす場合、安全対策を保つのは使う側の仕事になります。ツールを使わせるなら、防御の指示は手軽に足せる一方で、それだけに頼らず、権限を絞るほうが安全でしょう。評価の一式はProject Irisとして順次公開する予定で、ほかのオープンウェイトのモデルを選ぶときの物差しにもなりそうです。

Beamは、現時点ではYOBITSUGI AIからは使えません。