本文へ移動
YOBITSUGI AIメディア
AI ニュース人が監修しながらAIを活用して執筆

Pika Enact、流れる動画の中で演技や撮り方を直せる研究版

執筆・監修: 佐々木 航公開 更新 3 分で読めます

共有XFacebookLINEはてブ

再生中の動画の中で、人をマウスでつかんで別の場所へ運ぶ。動画は止まらず、運ばれた人は体の重さを移しながら着地し、影や光も周りに合わせて変わりました。動画の生成AIを手がける米国のPikaが、研究版として見せた「Pika Enact」でできることです。

Pika Enactは10月に出た動画モデルPika H3 Flexをもとに作った、生配信のように動き続ける動画の場です。1秒に満たない短い区切りごとに絵と音を作り、それまでの場面を引き継ぎながら新しい指示をすぐに取り込む仕組みです。文章を打って出来上がりを待つのが今の動画の生成ですが、Pikaは撮影の現場で監督するように作れる形をめざします。

3つの操作と、応える速さ

操作できること速さ
人や物を動かす再生中の動画の中で、マウスでつかんで動かすH100で0.4秒未満で絵が応える
役者に注文を付ける文字か声で伝えると、役者が役のまま声で答える絵と音を再生の1.75倍の速さで作る
カメラを動かすマウスで視点を回したり寄ったりするB300の8枚で最初の絵まで0.51秒640×480

速さはPikaの測定です。人や物を動かす操作の値は、遅れを抑えた設定のものです。

役者への指示では、言語モデルが台本を考え、動画のモデルが演じる形で分担します。しかも、役者はそれぞれ性格と記憶を持つAIのエージェントなので、前に伝えた注文を覚えたままです。稽古で何度か試してから「アクション」と声をかけると、それまでの内容が最初のフレームから撮り直した1本の動画にまとまります。

速さの仕組みと、まだ残る癖

速さの土台は、もとのH3 Flexを「少しずつ続きを作る」形に絞り込む学習です。動画全体を一度に作るモデルは、操作が終わるまで結果を返せません。そこで動画を短い区切りに分け、各区切りが過去だけを見て次を作るようにしました。もとのモデルが出来を採点しながら教えることで、少ない手順でも質を保ちます。学習には、物理の動きを再現する合成のデータや、3DのソフトBlenderで撮った映像を使いました。

ただ、癖も残ります。最初のフレームを手がかりにする作りなので、指示が止まると場面が最初に戻ろうとするのです。顔は1秒ほどでカメラの方へ戻り、暗くした照明も10秒ほどで明るさが戻ります。Pikaは向きや照明を保つ短い指示を数秒おきに自動で足して、これを抑えました。また、カメラを動かす機能の解像度は640×480にとどまります。

Pika Enactは研究版で、一般の利用者向けには公開していません。試したい企業や自社の製品に組み込みたい企業は、Pikaの企業向けの窓口に問い合わせます。発表では、日本語での会話や声には触れていません。

YOBITSUGI AIでは、Pika Enactも、もとのPika H3 Flexも使えません。

出典

共有XFacebookLINEはてブ