ComfyUIで動画生成のワークフローを作る

モデルに合う実行環境を選ぶ

ComfyUIの公式インストール手順で、自分のOSとGPUに合う版を用意します。モデルの推奨条件と空き容量を確認します。Wan2.2 5Bの公式例は、ネイティブのオフロードを使う条件で8GB VRAMに収まる見込みと説明しています。

この条件は5Bの例です。他のモデル・長い動画・高い解像度にも同じ条件が当てはまるとは限りません。

Templatesから動画用ワークフローを選びます。必要なモデルの案内を確認し、指定されたファイルをダウンロードします。Desktopではモデルを自動取得できる場合があります。

新しいテンプレートが見つからない場合は、ComfyUIの版と公式ガイドを確認します。

拡散モデルはmodels/diffusion_models、テキストエンコーダーはmodels/text_encoders、VAEはmodels/vaeに置く構成を確認します。各Loaderで、テンプレートが指定する組み合わせを選びます。

同じ拡張子でも役割が異なります。ファイル名と対応モデルを確認します。

モデル読み込み、プロンプト、映像のサイズと長さ、サンプラー、デコード、動画出力という流れを追います。まず短いサンプルを作り、出力を確認してから条件を変えます。

lengthがフレーム数のノードでは、秒数をそのまま入れません。例えば121フレームを24fpsで出力すると約5秒です。

プロンプト、seed、解像度、フレーム数、stepsなどを記録し、一度に一つだけ変えます。同じ被写体の動きを比べるなら、参照画像や他の条件を固定して試します。

seedの固定は比較の助けになりますが、モデルや環境が変われば同じ結果になるとは限りません。

通常の保存JSONで編集可能なワークフローを残し、モデルのファイル名・ComfyUIの版・追加ノード・採用した出力も記録します。追加ノードは、必要になったものから導入します。

他のPCで再実行するには、JSONに加えて対応するモデルとノードが必要です。

自動実行へ進む場合は、File → Export Workflow (API)でAPI用JSONを保存します。通常の保存JSONと構造が異なります。自前サーバーのPOST /promptでキューへ追加し、prompt_idを使って履歴や進捗を確認します。

最初に手動で動くワークフローを作り、その後でAPIの入力値を変更する方法へ進みます。