GGUF の FLUX.1 モデルを利用して ComfyUIで画像を生成する手順を紹介します。
ComfyUI で FLUX.1の画像生成ができる状態にします。こちらの記事を参照してください。
FLUX.1 GGUFモデルをダウンロードします。以下のURLからダウンロードできます。
モデルが複数ありますが、Q8(flux1-dev-Q8_0.gguf)やQ4(flux1-dev-Q4_1.gguf)を利用するケースが多いようです。Qが小さいほどモデルのサイズが小さくなりメモリ負荷が少なくなるようです。
ダウンロードしたモデルファイル(ggufファイル)は以下のディレクトリに配置します。
(ComfyUIの配置ディレクトリ)\ComfyUI\models\unet
ComfyUIで GGUFのモデルを扱えるようにするためのローダーである、ComfyUI-GGUF をダウンロードします。
GitHubのリポジトリからZipファイルでダウンロードするか、Gitコマンドを実行してダウンロードします。
git clone https://github.com/city96/ComfyUI-GGUF
または
(git.exeのフルパス) clone https://github.com/city96/ComfyUI-GGUF
以下のファイルが取得できます。
これらのファイルを以下のディレクトリにコピーして配置します。
(CmofyUIの配置ディレクトリ)\ComfyUI\custom_nodes\ComfyUI-GGUF
git clone https://github.com/city96/ComfyUI-GGUF ComfyUI/custom_nodes/ComfyUI-GGUF
GGUFパッケージをインストールします。
コマンドプロンプトで以下のコマンドを実行し、ComfyUIのpython_embededディレクトリに移動します。
cd (CmofyUIの配置ディレクトリ)\ComfyUI\python_embeded
以下のコマンドを実行してGGUFパッケージをインストールします。
python.exe -m pip install --upgrade gguf
以下のsite-packages ディレクトリにggufディレクトリが作成されインストール完了です。
(CmofyUIの配置ディレクトリ)\python_embeded\Lib\site-packages
run_cpu.bat, run_nvidia_gpu.batを変更します。
.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build
pause
.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt
pause
run_nvidia_gpu.batを実行して、ComfyUIを起動します。
FLUX.1のワークフロー (テキストエンコーダー、VAEが分離されている版) を読み込みます。手順の詳細はこちらの記事を参照してください。
キャンバス内で右クリックします。ポップアップメニューが表示されますので [Add Node] > [bootleg] > [Unet Loader (GGUF)] の項目をクリックします。
[Unet Loader (GGUF)] のボックスが配置されました。(下図左上)
[Unet Loader (GGUF)] のボックスの [unet_name] にダウンロードして配置したggufファイルを設定します。
[Unet Loader (GGUF)] のボックスの[MODEL]のコネクタから、[ModelSamplingFlux]の[model]のコネクタまでドラッグして接続します。(下図)
[Queue Prompt]ボタンをクリックして画像を生成します。画像が生成されたことを確認します。
GGUF版のほうがモデルの読み込みが速いです。これは、ファイルサイズが小さいことも影響しているかもしれません。
また、オリジナル版はモデル読み込み時にCPU負荷が上がり、メインメモリの使用量も増えます。
モデルをロードした後での画像生成速度には、それほど大きな違いが無い印象です。(詳細な検証はしていないため、諸条件により変わる可能性あり)
噂によると、プロンプトの追従度が良いとのことです。が、体感としてはあまり違いを感じませんでした。
画像生成結果の一例です。英語であれば文字列も表現できます。
