OpenAI、外部の4団体が内部のモデルを評価 学習データまで開示
執筆・監修: 佐々木 航公開 更新 4 分で読めます
AIの会社が「安全です」と言うだけでは、利用者は確かめようがありません。OpenAIは11月16日、その確かめ役を外に頼む取り組みの第1段階を発表しました。名前は「embedded assessments」で、外部の4つの団体が社内のモデルと安全対策を調べます。評価する人は社内に入り込み、OpenAIの研究者と同じ資料を見ながら、長い期間をかけて調べる形です。
加わるのは、Apollo Research、METR、Transluce、Goodfireの4つです。評価に要るものに応じて、未公開のモデルや学習途中の段階(チェックポイント)、ソースコード、学習と評価のデータ、監視の仕組みが残した記録まで見られます。担当の研究者や技術者に話を聞くことも認められました。
4つの団体が調べること
| 団体 | 調べること |
|---|---|
| Apollo Research | モデルが開発者の意図に隠れて逆らわないか。逆らったときに、安全対策がそれを見つけられるか報酬あり(結果には左右されない) |
| METR | これまでで最大の強化学習の学習で、ずれた振る舞いが起きていないか。今の試験や監視が見逃したものも探す報酬なし(APIの利用枠などは受け取ることがある) |
| Transluce | 学習の仕上げのあとに行う、アライメントの評価そのものの質と範囲報酬なし(APIの利用枠などは受け取ることがある) |
| Goodfire | モデルの内部を分析し、学習の監視や不具合の切り分けに生かす報酬あり(結果には左右されない) |
アライメントは、モデルの振る舞いを開発者の意図や人の価値観に沿わせること。報酬の有無は、OpenAIの発表の注にもとづきます。
Apolloは、4つの主張を2段階で確かめます。学習が隠れた反抗をうながしていないこと。強い評価やレッドチームでも、反抗を引き出せないこと。社内で使っているあいだに、モデルが反抗を試みていないこと。そして、反抗に向かう推論なら見つけられること、の4つです。
METRとは、監視の仕組みを調べる評価ももう1つ行う予定ですが、範囲はまだ話し合いの途中です。METRが求めた範囲より、今回の評価は狭いことも、OpenAIは注で明かしました。Transluceとは、2027年の初めに約8週間の続きの評価を予定しています。評価の結果を、モデルを出すかどうかの判断にどう使っているかも、そこで見せる計画です。Goodfireの評価は、主にOpenAIの研究者が安全の改善に使うものです。Goodfire自身も、分かったことを進み具合に合わせて公表します。
OpenAIは、この取り組みが、米国の「White House Accord on Super Intelligence」で約束した、安全対策の独立した評価にも当たると説明しました。
進め方の決まり
外部の人に社内の資料を見せるため、OpenAIは評価する団体と一緒に決まりを作りました。秘密の情報を扱う評価者は、OpenAIの事務所に通い、OpenAIの端末で作業します。モデルの重みや構造のように特に重要な情報なら、直接は見せず、OpenAIの研究者と組んで分析する方法も検討します。
結果を公表するかどうかは、評価する団体が自分で決めます。一方で、秘密の情報を黒く塗りつぶす権利は、OpenAIの側に残りました。安全上の危険がある発見なら、直すまで公表を待つよう求めることもある、という条件です。
監督の役目を担うのは、OpenAI Foundationの取締役会に属する、安全とセキュリティを見る委員会(SSC)です。SSCは塗りつぶしのない報告書を受け取り、評価者とも直接話せます。OpenAIと評価者の意見が割れたら、まず社内の安全の諮問グループと経営陣が期限を決めて話し合い、それでも決まらなければ、SSCの判断に委ねる決まりです。
社員への聞き取りは記録に残さない約束で、内容を公表したり、社員の名前を出したりはできません。その代わり、聞いた内容をOpenAIに確かめさせる道も用意されました。OpenAIが認めた文は公表でき、認めなかったことも明かせます。評価者がほかのAIの会社の評価に移る前には、短い空白の期間を置くよう、OpenAIは求めました。
報告が出たら、モデル選びの材料に
ここからは編集部の見方です。この取り組みで、すぐに変わる使い方はありません。意味があるのは、4つの団体が公表する報告です。開発の会社が自分で書く安全の資料とは別に、外の目で調べた結果が出てきます。日本の会社が業務に使うモデルを選ぶときにも、社内の安全の審査で、こうした報告を判断の根拠に加えられそうです。
Anthropicも10月に、METRに社員に近い立場で評価してもらうと発表しました(Anthropicの記事)。大手の2社が同じ形をとり始めたことで、外部の評価の報告を比べられる日が近づいたとも言えます。とはいえ、OpenAIが塗りつぶしや公表の延期をどこまで使うのかは、まだ分かりません。報告が出たら、何が伏せられたかも合わせて読むのがよさそうです。
YOBITSUGI AIでも、OpenAIのGPT-6 Astra、GPT-6.1 Sol、GPT-6 Lunaを使えます。
出典
- Our first phase of embedded assessments(OpenAI・2026年11月16日)