画像生成時にControlNet の複数の効果を適用する手順について紹介します。
画像の生成時にControlNetの複数の効果を適用して画像を作成したい場合があります。
Multi ControlNetの設定をすると、画像生成時に複数のControlNetを適用できます。
Stable Diffusion Web UIを起動します。
上部の[Settings]タブをクリックします。下図の画面に切り替わります。
左側のメニューの[ControlNet]の項目をクリックします。
下図のControlNetの設定画面に切り替わります。
右側のエリアの[Multi ControlNet: Max models amount (requires restart)]のスライダーの値を変更します。
デフォルトでは、スライダーのつまみは一番左になっており、"1"が設定されています。今回 スライダーのつまみをドラッグして、"3"に変更します。
ページ上部の[Apply settings]ボタンをクリックします。1 settings changed: control_net_allow_script_control. のメッセージが表示されます。
[Reload UI]ボタンをクリックして、UIを再読み込みします。
再読み込み後、[txt2img]のタブを確認します。[ControlNet]の枠を開くと、枠内に[ControlNet Unit 0] [ControlNet Unit 1] [ControlNet Unit 2]の
3つのタブが表示されていることが確認できます。3つのControlNetを設定して効果を適用できる状態になりました。
2つのControlNetを適用して画像を生成してみます。
2枚の入力画像を準備します。
こちらはキャラクターの線画です。
もう一つは砂漠のイラストです。こちらはMidjourneyで出力したSF砂漠のイメージです。
先ほど紹介した設定手順で、Multi ControlNetの値を"2"に設定します。
[ControlNet Unit 0]のタブにはキャラクターの画像を設定します。
[Enable]のチェックをつけ、[Preprocessor]に[lineart_anime]を設定します。[Model]には[control_v11p_sd15s2_lineart_anime]を設定します。
[Preprocessor]のドロップダウンリストボックスの右側の赤いアイコンのボタン[Run preprocessor]ボタンをクリックして、
プリプロセッサを実行します。右側にプレビューのイメージが表示されます。キャラクターの外形が抽出できていることを確認します。
[ControlNet Unit 1]のタブには、砂漠のイメージを設定します。[Preprocessor]には[reference_only]を設定します。
出力サイズを設定します。今回は "900×450" を設定しています。プロンプトには以下を入力します。
[Generate]ボタンをクリックして、イメージを生成します。
下図のイメージが出力できました。ControlNetに設定した2つの入力画像が反映されていることが確認できます。
画像を眺めて、キャラクターの絵柄が背景に対して、ややポップなため、キャラクターの線画の影響度を下げることにします。
[ControlNet Unit 0]のキャラクター線画の[Control Weight]の値を"0.5"に下げます。
再度実行します。若干絵柄のポップ感が減りました。
複数回、画像生成を実行して、イメージに合う画像を出力します。
今回はこちらを決定稿としました。
今回の例では、プロンプトが非常に単純でしたが、より複雑なプロンプトを入力することで、表現をいろいろと変化できるかと思います。
複数のControlNetの効果を適用して画像を生成できました。
