ByteDance、VAEも一緒に学ぶ画像生成GenFirstを公開
執筆・監修: 佐々木 航公開 更新 5 分で読めます
ImageNetの256×256の画像生成で、gFIDは0.97。ByteDanceの研究チームByteDance Seedは11月3日までに、この値を出した画像生成モデルGenFirstの重みをHugging Faceで公開しました。同じ日に、GitHubでコードも公開しました。中国科学技術大学との共同研究で、論文は8月にarXivに出ていました。
gFIDは、作った画像の集まりが本物の画像の集まりにどれだけ近いかを表す値で、小さいほど良い値です。0.97はCFGを使ったときの値で、使わないと1.45です。
縮める部分を、描く部分と一緒に学ばせる
Stable DiffusionやFLUXのような画像生成モデルは、ふつう2段階で作ります。まず、画像を小さな数値の並びに縮めて元に戻すVAEを学ばせます。次にVAEを固定し、縮めた形の上で絵を描く部分を学ばせます。
VAEは元に戻しやすさを目指して学ぶので、その縮め方が、絵を描く側にとって学びやすいとは限りません。両方を一度に学ばせる方法も考えられてきましたが、そのままでは縮めた表現がつぶれ、画像ごとの違いが消えてしまうことがありました。
論文によると、つぶれを防ぐ鍵は、KLダイバージェンスのうちエントロピーの項です。論文はさらに、元に戻す学習は速く進み、絵を描く側の学習は遅いという差を挙げます。そこでGenFirstは、学ばせる順番を変えました。初めは元に戻す力をあまり求めず、絵を描く側の学びやすさで縮め方を形づくります。そのあと元に戻す力を強めて、細部を取り戻します。公開されたコードでは、40万ステップを過ぎたところで、絵を描く側の学習とエントロピーの項の比重を10分の1に下げます。
論文のページによると、同じgFIDに届くまでの学習ステップ数は、もとになったSiTの70分の1以下でした。その代わり、元に戻す力は少し落ちます。FLUX.1 [dev]のVAEをもとに学ばせた版では、元の画像との近さを表すPSNRが31.59から29.43に下がりました。
文字から画像を作る試験の結果
文字の指示から画像を作るモデルの値は、512×512の画像で測ったものです。指示の中の物の数・色・位置などを守れたかを見るGenEvalでは0.90で、論文の表に並ぶFLUX.2 [dev]とQwen-Imageの0.87を上回りました。項目別では、位置と、色などの属性を正しい物に結び付ける項目で差が大きく開きました。一方、長い指示で測るDPG-Benchは82.60で、表の主なモデルより低い値です。
| モデル文章を読む部分＋絵を描く部分 | GenEval | DPG- Bench |
|---|---|---|
| GenFirst1億＋13億 | 0.90 | 82.60 |
| FLUX.2 [dev]240億＋320億 | 0.87 | 87.57 |
| Qwen-Image70億＋200億 | 0.87 | 88.32 |
| Z-Image-Turbo40億＋60億 | 0.82 | 84.86 |
| SD3-Medium55億＋20億 | 0.74 | 84.08 |
| FLUX.1 [dev]48億＋120億 | 0.66 | — |
ほかのモデルの値も、GenFirstの論文ページの表から取りました。GenFirstの値は、指示を書き換えずに測ったものです。論文では、文章を読む部分をCLIPからQwen3-1.7Bに替えると、DPG-Benchが84.65に上がりました。ただ、この版はモデルカードに載った公開の一覧にありません。
ここからは編集部の見方です。絵を描く部分が13億パラメーターで、その15倍以上の大きさのモデルとGenEvalで並んだ点は見どころです。ただGenEvalは短い指示の守り方を測る試験で、モデルカードにも、長い指示・込み入った指示・数を数える指示では従いにくくなるという注意があります。FLUX.2やQwen-Imageの代わりになるモデルとしてより、VAEの作り方を変えれば同じ大きさの描く部分でも学習が速く進む、と示した手法として読むのがよさそうです。
FLUX.2のVAEを再学習した版も
今回の公開には、Black Forest LabsのFLUX.2のVAEをもとに、この方法で再学習したVAEも入っています。Webの画像・高解像度の画像・文字を含む画像で学ばせ、最後に元に戻す側だけを追加で学ばせた版です。ImageNetの検証用画像5万枚を512×512で縮めて戻したByteDance Seedの測定では、元のFLUX.2のVAEより、元の画像に近く戻せました。
| ImageNet・512×512 | 元の FLUX.2 | 再学習 した版 |
|---|---|---|
| rFID小さいほど良い | 1.35 | 0.04 |
| PSNR大きいほど良い | 35.50 | 36.46 |
| SSIM大きいほど良い | 0.943 | 0.953 |
| LPIPS小さいほど良い | 0.031 | 0.026 |
| 20回縮めて戻したあとのPSNR | 15.95 | 20.05 |
このVAEだけは、diffusersで読めるsafetensors形式のファイルもあります。ほかの重みは、GitHubの学習用リポジトリから読み込む.pt形式です。
使えるのは非商用の研究だけ
重みのライセンスはCC BY-NC 4.0で、モデルカードは非商用の研究にだけ使えるとしています。用途の外とされているのは、商用の利用・実在の人物の画像・性的や暴力的な画像・写真や事実の記録として見せる使い方などです。コードはMITライセンスです。ただし、Metaのプロジェクトから持ち込んだ一部のファイルは、元のライセンスが非商用に限るもので、GitHubの説明は、コードを使う前にNOTICEのファイルを読むよう求めています。
Hugging Faceからは、申請なしでダウンロードできます。.ptのファイルは読み込むとPythonのコードが動く形式で、PyTorch 2.6以降ではweights_only=Falseを付けないと読み込めません。モデルカードは、公式のリポジトリから取ったものだけを読み込むよう注意しています。安全のためのフィルターや透かしは入っていません。モデルカードによれば、文字・手・細かい形の描画は、同じ大きさのモデルと同じく不安定です。
発表は、日本語への対応に触れていません。文章を読む部分は、OpenAIのCLIP-Lをそのまま使う作りです。GenFirstは、現時点ではYOBITSUGI AIからは使えません。
出典
- ByteDance-Seed/GenFirst（Hugging Face・2026年11月3日）
- ByteDance-Seed/GenFirst（GitHub・2026年11月3日）
- GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling（arXiv・2026年8月29日）
- GenFirstプロジェクトページ（中国科学技術大学・ByteDance Seed）
