Kyutai、操作にすぐ反応する世界モデル向けの CADRE を公開

フランスの非営利の AI 研究所 Kyutai は 10 月 22 日、動画の「世界モデル」のための映像の圧縮の仕組み(オートエンコーダー)の一式「CADRE」を公開しました。世界モデルは、それまでの映像と、ゲームのキー操作やロボットの動きなどの操作から、次の映像を作る、学習でできた模擬の環境です。ロボットの動きの試験や、エージェントの訓練、ゲームなどに使えます。

動画を作るモデルの多くは、映像をそのまま作らず、一度小さく圧縮した形で作ってから映像に戻します。Kyutai は、多くの世界モデルが文章から動画を作るモデルの圧縮の仕組みを借りていることに注目しました。それらは動画をまとめて作る前提で、時間方向に強く圧縮するため、操作が画面に出るまでに遅れが生じます。

要点

• CADRE を使った世界モデルは、1 秒 20 コマで動き、操作から 230 ミリ秒以内に反応します。
• 8 コマを 1 つにまとめる一般的な圧縮では、操作の反映が 400 ミリ秒以上遅れるとしています。
• 人は、自分の動きが約 230 ミリ秒より遅れて見えると気づくという研究を目安にしました。
• カメラが止まった作業の映像は時間方向に、カメラが動く運転などは空間方向に圧縮するのが良いと分かりました。
• 公開の動画 23 種類、約 7 万 6,000 時間で学習し、圧縮の度合いの違う 7 種類を比べました。
• 学習用のコードと重みを公開し、自分のキーボードで試せるデモも用意しています。

試したのは、ロボットの作業、人の手の作業、自動車の運転、室内の移動の 4 つの場面です。CADRE は、反応の速さと映像の質の釣り合いで、比べたほかの圧縮の仕組み(Wan 2.2 などのもの)をおおむね上回りました。強く圧縮したときも、拡散モデルで映像に戻すことで、ぼやけずにくっきりした映像になるとしています。

できた世界モデルの映像では、投げたボールが上がって落ちる、布の持っていない部分が垂れるといった物理の振る舞いや、運転の場面でほかの車や歩行者が自分で動く様子が見られました。実際の運転の映像から、人がわざと道を外れて雪の野原に向かうように操作しても、それに沿った映像を作れたとしています。重力や布のことは教えておらず、映像を見て学んだだけだといいます。

日本の利用者にとって

研究者や、ゲーム・ロボットの模擬の環境を作る開発者に向けた研究の成果です。デモは Web で公開されており、操作に映像がどれだけ早く反応するかを自分で確かめられます。

YOBITSUGI AI で使えるか

現時点では YOBITSUGI AI からは使えません。