本文へ移動
YOBITSUGI AIメディア
AI ニュースAI により執筆

Microsoft、脆弱性探しのMAI Cyber 1.1 Flashを公開

公開 3 分で読めます

共有XFacebookLINEはてブ

攻撃の手口にくわしいAIほど、守る側の役に立ち、悪用されたときの害も大きくなります。Microsoftの答えは、モデルを単体では渡さず、自社の検査の仕組みの中でだけ動かすことでした。

Microsoft AIは米国時間10月27日、セキュリティ向けのモデル「MAI Cyber 1.1 Flash」を公開しました。動くのは、複数のAIでコードの脆弱性を見つけて直すまでを進める、開発名「MDASH」のシステムの中だけ。前の版のMAI Cyber 1 Flashと同じくらいの成績のまま、1回の検査にかかる費用を18%減らしたとしています。1料金や、日本の会社が申し込めるかは書かれていません。

断りすぎを減らし、そのぶん使い方をしばる

モデルカードによると、MAI Cyber 1.1 Flashは総パラメーター137B、アクティブパラメーター5BのMoEのモデルです。コンテキスト長は256k。コーディング向けのMAI-Code-1-Flashから作った前の版を、さらに調整しました。違うのは、侵入テストのような正当な依頼を断りすぎないように学習した点です。

そのかわり、危険も増えたとMicrosoftは認めています。社内のレッドチームは38の場面で試し、モデル単体には重大な危険がいくつかあると判断しました。だから、モデルを直接は使わせず、MDASHの中で審査を通った顧客だけに提供する形です。MDASHでは利用者がプロンプトを書き換えられず、外で使おうとすると警告が出て、直さなければ利用の権利を取り消されます。外部のCasaba Securityの検査では、害のある依頼の90.2%を食い止めました。

性能は、モデル単体の成績が出ています。脆弱性を見つけ、確かめ、直すまでの流れで測るCyberGym-E2Eで41.68%、Webアプリの侵入テストを測るWebExploitBenchで23.0%でした。2ほかのモデルと並べた比べはありません。

ここからは編集部の見方です。MDASHでは、MAI Cyberを使う検査がすでに全体の半分近くになったそうです。一度使った顧客は、その後の検査の9割近くで、OpenAIのモデルだけで動く設定ではなくMAIの設定を選んでいます。自社のモデルへの置き換えは、わりと早く進んでいるようです。ただ、モデルカードは学習も評価も主に英語で、英語以外の利用者には性能が落ちることがあると書いています。日本語のコメントや資料が多いコードでは、結果を人が確かめる手間が残るかもしれません。同じ系列のコーディング向けの新しい版は、Microsoft、コード向けのMAI-Code-1.1-Flashを公開で紹介しています。

MAI Cyber 1.1 Flashは、現時点ではYOBITSUGI AIからは使えません。

出典

注

  1. 費用の比べは、MDASHの社内の評価用のセットで測った値です。既存の利用者は、新しい検査を始めるときに「MAI Cyber 1.1 Flash」の設定を選べます。新しく使う場合は、Microsoftの申し込みの窓口から申請します。 ↩

  2. モデル単体の評価は、端末を操作する軽い仕組みと256kのコンテキストで測っています。CyberGymで脆弱性を突いて落とす課題は71.70%、ExploitGymは862問のうち0問でした。Casaba Securityの検査では、失敗の多くが害の無い依頼と、話し手の少ない言語で起きています。 ↩

共有XFacebookLINEはてブ