Tencent、指示で世界を作り足す動画モデル Hy-Nomas を公開

中国の Tencent の Hunyuan のチームは、動画で世界を作り、利用者の指示に応じてその続きを作り足していく「世界モデル」の Hy-Nomas を、Hugging Face で公開しました。ライセンスは Apache 2.0 で、商用でも使えます。Web で試せるデモもあります。

一度に動画を丸ごと作るのではなく、短い区切りごとに映像を作り、そのたびに新しい指示を受け付けます。物を登場させる、様子や画風を変える、場面を移す、登場人物の動きを書く、カメラを動かすといった指示を、生成の途中で何度でも出せます。

要点

• 前の区切りの内容を覚えておき、同じ世界の続きとして次の映像を作ります。
• 文章の指示に加えて、カメラの動きの道筋を渡して視点を動かせます。
• 出力は 1280×720・1 秒 24 コマで、1 区切りを 8 回の処理で作る軽い版を使います。
• 標準の構成は GPU 8 枚ですが、RTX 4090 1 枚で動かす省メモリの構成もあります。
• 映画風の画質やロボットの両腕の作業向けの追加の部品(LoRA)も公開しています。
• 指示への従い方や空間の記憶を測る 280 問の評価 Hy-Nomas-Bench も公開しました。

仕組みは、映像を小さく圧縮した形で作る拡散モデルに、文章を読む部分として Alibaba の Qwen2.5-VL-7B を、映像に戻す部分として PixelUMM を組み合わせています。前の区切りの情報を保存して次に使うため、生成を続けるほど同じ世界の中で話が進みます。Web のデモでは、利用者の指示を生成用の詳しい指示に書き直す別のモデルも使います。技術報告は近く公開する予定です。

操作に応じて映像を作る世界モデルは、ゲームやロボットの模擬の環境に使える技術として各社の発表が続いています。10 月 22 日には、フランスの Kyutai も世界モデル向けの仕組みを公開しています(Kyutai、操作にすぐ反応する世界モデル向けの CADRE を公開)。

日本の利用者にとって

発表では、日本語の指示での使い方や性能には触れていません。家庭向けの GPU 1 枚でも動かせる構成があるため、映像の生成や模擬の環境を試したい開発者や研究者が手元で試せます。

YOBITSUGI AI で使えるか

現時点では YOBITSUGI AI からは使えません。