本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

OpenAIの実験データ読み取り評価、GPT-6 Astraが66.7%

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

陰性対照のはずの寒天培地の皿に、実験で使ったのとは別の抗生物質のラベルが貼ってある。GPT-6 Astraはこの「LB Kan50」の文字に気づき、この皿は対照として頼れないと判断しました。前の世代のGPT-5.6 Solは、コロニーが生えていないことだけを見て結論を出しました。

OpenAIは11月6日、こうした実験室での日々の分析を、AIエージェントがどれだけ確かにこなせるかを測る評価BioBasicsBenchを発表しました。酵素の設計を手がけるバイオ企業Ligoと一緒に作った評価です。生物の試料を扱う実験室(ウェットラボ)では、実験の失敗やあいまいな画像、食い違う観察が日常的に起きます。論文のために選んだ整った図では、こうした迷いどころを測りきれない、というのが作った理由です。

生の実験データで100問

問題は100問で、たんぱく質の手法、顕微鏡などの画像と細胞の測定、定量の試験、DNAなど核酸の手法、遺伝子のクローニングの5分野です。ゲルの写真からDNAの大きさを読む簡単な問いから、試験の結果の細かい分析まであります。どれも、実験の担当者なら確実にこなせるはずの日常の作業です。

渡すデータは、実験で出たままの形です。いちばん多いのはゲルやブロットの画像の31問で、手順書や実験ノートが27問、機器から書き出した表が20問と続きます。実験台や試薬の写真、顕微鏡の生の画像、配列のファイル、作業の動画もあります。1問に何種類かのデータが入ることもあります。

問題は科学者が自分の実験のデータから作り、採点の基準は専門家が用意しました。確認は、Ligoの別の科学者、外部の博士レベルの研究者、OpenAI社内の順に3回行いました。100問のうち68問は誤りを見つける力を、19問は「このデータでは結論を出せない」と見抜く力を問います。採点は基準の項目ごとに点を付けるので、結論は合っていても分析が足りない答えには部分点が付きます。

GPT-6 Astraが首位、GPT-6.1 Solが続く

OpenAIは自社の7つのモデルを測りました。推論の強さの設定を変えた37通りで、100問を5回ずつ解かせました。下の表は、7モデルすべてで選べる最も深い設定(xhigh)の結果です。

モデル得点95%の区間1問の
出力
GPT-6 Astra66.7%60.3〜73.14,704
GPT-6.1 Sol62.0%55.6〜68.45,238
GPT-5.6 Sol43.8%37.6〜50.09,099
GPT-6 Luna38.3%32.3〜44.513,120
GPT-5.535.4%29.7〜41.011,135
GPT-5.433.2%28.3〜38.413,717
GPT-5.231.2%26.2〜36.327,620

得点は、配点のうち取れた割合の平均です。1問の出力は、推論を含む出力のトークン数の平均です。

GPT-6 AstraとGPT-6.1 Solは、95%の区間が大きく重なっています。この評価だけでは、2つの差ははっきりしません。100万トークンあたりの料金は、GPT-6.1 SolがGPT-6 Astraの5分の1です。一方、GPT-6 Lunaは出力のトークンを多く使っても38.3%にとどまり、上の2つとの差は大きく開きました。

OpenAIによると、GPT-6 Astraは推論の強さを低くした設定でも、GPT-5.6 Solを大きく上回りました。画像などをじかに読み取る力が強くなったことが、日常の実験の分析で点を上げる鍵かもしれない、と同社は見ています。

伸びたのは、データの限界を見る力

OpenAIは、GPT-6 Astraが前の世代より良くなった点として、冒頭のラベルの例のほかに2つを挙げます。

1つは、データで言えることの限界を見極める力です。GPT-5.6 Solは、死んだ細胞を染める色素の明るさから、細胞を死んでいると判定しました。ところがこの実験の検出器は、別の色素の光も拾える設定です。GPT-6 Astraは明るさだけでは決められないと気づき、信号を分ける対照を足すよう求めました。

もう1つは、実験の前提を覚えておく力です。顕微鏡の画像の連続で細胞がぼやけたり消えたりする問題では、GPT-5.6 Solが生物学的な理由を探したのに対し、GPT-6 Astraは深さを変えながら撮った画像の重なり(zスタック)だと見抜けました。

まだ残る3つの弱点

OpenAIは「点数が上がっても、実験室で頼れる判断ができるとはまだ言えない」として、GPT-6 Astraの失敗も示しました。

  • 思い込みが対照に勝つ:コロニーのPCRの結果で、帯の2つのまとまりは正しく見分けました。ところが「大きいほうが成功」と思い込み、正解の5・9・10番ではなく4・6・7・8番を選びました。このまま進むと、別のプラスミドを精製してしまいます。
  • 都合の悪い観察を捨てる:同じ画像に明るい液胞もあるのに、液胞は周りより暗いと一般化しました。ピントの深さで明暗が逆になることには途中で触れていましたが、結論には入れませんでした。
  • コロニーを数え間違える:近いコロニーをまとめて数え、見えているものを数え落とし、何もない所を数えました。差し引きで約12%多く数え、DNAが細胞に入った効率の見積もりも同じ割合で高く出ます。

日本の利用者にとって

問題は英語で、OpenAIが自社のモデルだけを測った評価です。他社のモデルは入っておらず、問題を外部に公開するかも書かれていません。

ここからは編集部の見方です。実験の画像の読み取りをAIに手伝わせるなら、対照の確かめ方と、コロニーなどの数え上げは人が見直すのが安全です。同じ11月6日にArtificial Analysisが公開した、他社のモデルも含む評価VIALS-AAでも、首位のモデルが3回とも正解できたのは64%でした。2つの評価は測り方が違いますが、どちらも「まだ人の確認が要る」という結果です。

OpenAIは、この力の伸びを追うことが、生物の安全にかかわる影響を知るためにも役立つとしています。

表のモデルのうち、YOBITSUGI AIではGPT-6 Astra、GPT-6.1 Sol、GPT-6 Lunaを使えます。選べるモデルは、アプリのモデルの選択欄で確認できます。推論の強さの設定の違いは、推論の強さは下げていい?で確かめられます。

出典

共有XFacebookLINEはてブ