Runway Characters、会話1件のGPUを8枚から4枚に半減

話しかけると動画の人物が答えるサービスは、1人の相手にGPUを何枚使っているのでしょうか。Runwayが11月5日に公開した論文によると、Runway Charactersは提供を始めたときは1会話にH100を8枚使い、今は4枚で動いています。

Charactersは、1枚の画像から話せる人物を作るサービスです。裏側は約570億パラメーターの動画生成モデルで、704×1088、24fpsの映像を作り続けます。

まとめて処理できないから、GPUが多く要る

24fpsを保つには、4コマ分の映像を166.7ミリ秒ごとに作る必要があります。遅れると、顔と声が同時に止まります。

一般のAIのサーバーは複数の利用者の処理をまとめて効率を上げますが、Charactersでは使えません。1会話が1本の専用の映像で、必要な計算量がH100の1枚の上限を超えるためです。短縮は、1回の処理の中で稼ぐしかありませんでした。

H100を4枚の構成	1回の処理
提供開始時のソフトウェア	240.9ミリ秒
24fpsに必要な時間	166.7ミリ秒
キャッシュと処理の分担を改善	159.3ミリ秒
通信を計算に組み込む	147.4ミリ秒

最も効いたのは、無駄な繰り返しをやめたことです。元の処理は計算の29%を、ほとんど変わらないキャッシュの作り直しに使っていました。これを新しいコマを書き込むときの1回にまとめ、1回あたり69.7ミリ秒が6.2ミリ秒になりました。映像に戻す処理は、専用のGPUに分けてあります。

口の動きの質は、Runwayの評価では同じ設定を繰り返したときのばらつきと同程度の差に収まりました。ただRunwayは、これは同等の証明ではなく、アニメ調の人物ではこの評価の精度が落ちると断っています。

本番の7週間では、1秒以上配信した会話の99.5%が平均23.5fpsを超えました。ただ、通信の改善ではメモリ不足の不具合が出て、一度元に戻しました。固定の文で測る試験では見つからなかった問題で、修正のうえ10月8日に再開しました。

遅れの多くは映像ではなく音声のAI

利用者が話し終えてから人物の声が届くまでは、中央値で2.13秒でした。12回の本番の会話の51回のやり取りを追った値です。

区間	中央値
音声エージェント	1.42秒
Runwayの映像の処理	0.49秒
ブラウザへの配信	約0.19秒
全体	2.13秒
参考：人同士の会話の間	0.208秒

区間ごとの中央値なので、足しても全体とは一致しません。つまり映像より、言葉を聞いて考えて答える部分のほうが長くかかります。人同士の間は10言語の調査の平均で、人物の見た目が良くても、自然な間にはまだ遠い数字です。

GPUを増やせば解決するわけでもありません。H100を8枚にしても、映像に戻す1枚が追いつかず31fps止まりでした。新しいB200なら3枚で動きますが、H100で効いた改善の一部は逆効果でした。なおRunwayによると、同じGPUで試したオープンソースの2つの仕組みは、3分の1から半分の解像度でも、実時間に届かないか遅れが1秒以上増えました（1つは推定）。

使う側にとっての意味

ここからは編集部の見方です。開発者向けAPIのリアルタイムの会話は、最初に2クレジット、以降6秒ごとに2クレジットで、1クレジットは0.01ドルです。1分続けると約0.22ドルになります。1会話に高価なGPUを4枚使う仕組みなので、同時に話す人が増える用途では、計算資源と料金の見通しを先に確かめるのが安全でしょう。応答の速さを求めるなら、映像より音声のAIの選び方が効きそうです。

YOBITSUGI AIではRunwayのGen-4.5、Gen-4 Turbo、Gen-4 Imageを使えます。Runway Charactersは、現時点の対応モデルには含まれていません。