ComfyUI で Cosmos の動画生成をする - nVidia Cosmos のインストール

ComfyUI で Cosmos の動画生成をするための、nVidia Cosmos のインストール手順を紹介します。

事前準備:ComfyUI のインストール

ComfyUIをインストールします。インストール手順はこちらの記事を参照してください。
また、すでにComfyUIがインストールされている場合は、最新バージョンにアップデートします。

モデルのダウンロード

テキストエンコーダー

テキストエンコーダー(oldt5_xxl_fp8_e4m3fn_scaled.safetensors)を以下のURLからダウンロードします。

ダウンロードしたモデルのsafetensorsファイルは以下のディレクトリに配置します。

(ComfyUIの配置ディレクトリ)\ComfyUI\models\text_encoders

VAE

VAE(cosmos_cv8x8x8_1.0.safetensors )を以下のURLからダウンロードします。

ダウンロードしたモデルのsafetensorsファイルは以下のディレクトリに配置します。

(ComfyUIの配置ディレクトリ)\ComfyUI\models\vae

モデル

Cosmosのモデルを以下のURLからダウンロードします。

通常は以下の2つのsafetensorsモデルをダウンロードします。

• Cosmos-1_0-Diffusion-7B-Text2World.safetensors
• Cosmos-1_0-Diffusion-7B-Video2World.safetensors

ダウンロードしたモデルのsafetensorsファイルは以下のディレクトリに配置します。

(ComfyUIの配置ディレクトリ)\ComfyUI\models\diffusion_models

Workflowのダウンロード

https://comfyanonymous.github.io/ComfyUI_examples/cosmos/ のページにアクセスします。


Text to Video と Image to Video のワークフローのJSONファイルをリンクからダウンロードします。

動画の生成

ComfyUIでワークフローのJSONを読み込みます。今回はText to Videoのワークフローを読み込みます。 下図の画面が表示されます。


[実行]ボタンをクリックし、動画を生成します。下図の動画が生成できました。
(GeForce RTX4090 で 動画生成に13分ほど要しました。)

ComfyUI で nVidia Cosmos を利用した動画生成ができました。

著者

とりっち

iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。 最近は生成AIの画像生成の沼に沈んでいる。