本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

SB Intuitions、映像の予測でロボットの動きを学ぶ試作モデル

執筆・監修: 佐々木 航公開 更新 5 分で読めます

共有XFacebookLINEはてブ

先の映像そのものを描かなくても、先の場面を予測させるだけで、ロボットの動きは良くなるのか。国産の言語モデルSarashinaを開発するSB Intuitionsは11月9日、この問いを調べた試作モデル「Latent-WAM」の研究の途中経過を、技術ブログで公開しました。マルチモーダルAI部門のCreative Visionチームと、フィジカルAI部門のロボティクスチームによる研究です。

ブログは研究の記録で、製品の発表ではありません。モデルの重みやコードの公開には触れていません。

映像を描かずに、映像の特徴を予測する

カメラの映像と言葉の指示から、ロボットの腕の動きを出すモデルは、Vision-Language-Action(VLA)と呼ばれます。これに、動いたあと場面がどう変わるかの予測を組み合わせたのが、World-Action Model(WAM)です。

ただ、先の映像を描くWAMは、計算が重くなりがちです。映像の細かな点を、何段階にも分けて作るからです。そこでLatent-WAMは先の映像のかわりに、映像の特徴を表す数の並びを予測します。特徴の取り出しには、動画から先の場面を予測するよう学習したモデルV-JEPA 2を使い、その重みは学習の間も固定しました。

  • 学習する部分は約1億4,500万パラメーターで、12・24・36・48コマ先の場面の特徴を予測します。
  • 形の違うロボットのデータをまとめて学べるよう、動きを16個の数にそろえました。関節は前からの動いた量、つかむ部分は開き具合の値で表します。
  • 事前学習のデータは、公開のロボットのデータセット3つで計608.8時間です。のちにAgiBotの分を大きなAgiBotWorld-Betaに替え、約2,716.5時間に増やしました。

動画の世界モデルでは、Kyutaiも10月に、操作にすぐ反応するための映像の圧縮の仕組みを公開しています。Latent-WAMは映像を作ること自体をやめ、動きを学ぶための手がかりに絞った点が違います。

4つのつなぎ方を比べると

Latent-WAMの中では、先の場面を予測する部分と、動きを作る部分が、互いの情報をどこまで見るかを変えられます。研究チームは同じ学習の条件で4つのつなぎ方を比べました。比べる場はシミュレーションでロボットの作業を試すベンチマークLIBEROの3つの組です。どの組も、10の作業を10回ずつ試します。

つなぎ方SpatialGoalLIBERO
10
平均
互いに見る99939294.7
動きの側が予測を見る99869292.3
互いに見ない96909092.0
予測の側が動きを見る採用した形93908589.3

成功率(%)。各組は10の作業を10回ずつ。乱数の種は1つだけで、学習5万回の時点の値です。

互いに見る形が平均94.7%でいちばん高く、互いに見ない形を約2.7ポイント上回りました。Goalの組では差が大きく、互いに見る形は93%、動きの側だけが予測を見る形は86%でした。研究チームは、予測を学習の補助に使うだけでなく、動きを作る部分とやりとりさせたほうが役に立つ見込みがあるとしています。

それでも、チームが選んだのは、平均がいちばん低い89.3%だった「予測の側が動きを見る」形です。この形なら、動きを作るときに予測の部分を使わないので、実際に動かすときは予測を飛ばして速く動きを出せます。成功率の上乗せより、動かすときの速さを取りました。

見えなくなった色を覚えておけるか

RememberColor3という作業では、ロボットは最初に見せられた色を覚え、その色が見えなくなってから、同じ色の物を選ばなければなりません。モデルは色を見分けられることが多いのですが、選ぶ物をよく間違えました。覚えていても、それを動きに生かせるとは限らないということです。

そこで、モデルがつまずいた場面で正しい動きを教えるDAggerと、成功と失敗を手がかりに学び直すDiffusionNFTを組み合わせると、同じ200回の試験で成功率は68.5%から86.0%に上がりました。過去の映像をすべて見られる形が86.0%、必要な所だけを取り出す形は81.0%です。

試しながら学び直すと

シミュレーションで試しながら学び直す仕組みも作りました。ベルを押す作業では、数回の学び直しで成功率が68.8%から96.9%に上がります。一方、スイッチを回す作業は、1回に64通り試すやり方ではなかなか伸びませんでした。512通りに増やすと80.5%、いちばん良いときで84.0%まで上がります。作業によって、要る試行の量はまるで違うのです。

数字を読むときの注意

どの数字も、研究チームが自社の実験で測った値です。読むときは、次の3点を押さえておくと誤解がありません。

  • LIBEROの比較は、乱数の種を1つにした結果です。チームによれば、ほかの種での確認はまだこれからです。
  • 試して学ぶ実験の成功率は、学習の途中で試した回の値です。学習に使わない場面で、別に測った値ではありません。スイッチの作業は、ブログを書いた時点でも学習が続いていました。
  • 動かしながら学び直す試作RoboTTTも作りました。自分の予測と実際の映像のずれを手がかりにする仕組みですが、今のところ成功率ははっきり上がっていません。

このほか、人が手で作業する映像のデータセットEgoDexから、手首の位置や指の形を取り出す処理も作りました。人の映像をロボットの事前学習に足せるかを、次に調べる予定です。

ブログは英語だけで、試せるデモの案内もありません。ここからは編集部の見方です。成功率がいちばん高い形をあえて選ばなかった背景には、実機のロボットでは動きを出す速さも成功率と同じくらい大事だという事情がありそうです。ロボットのモデルを作る人には、4つのつなぎ方の比べ方そのものが、設計を考える手がかりになりそうです。

Latent-WAMは、現時点ではYOBITSUGI AIからは使えません。

出典

共有XFacebookLINEはてブ