「じゃーん！こちらです！」のポーズのプロンプト、画像生成結果

Control Sketchを利用して画像生成する方式を試します。
下図の入力画像を準備します。


ControlNetの入力画像に設定し、Preprocessor "scribble_pidinet", Model "t2i-adapter_xl_sketch" (モデルハッシュ:ff9b22fb)を設定し、画像生成します。


プロンプトは以下を利用します。
Animagine XL v3.1での生成結果は下図です。
8割以上は想定していたポーズと別のポーズになってしまいますが、低確率で意図したポーズの画像が生成されます。


LizMix v6.0での生成結果です。LizMixのほうが狙ったポーズでの出力になりやすい印象です。


7th Anime XL Aの生成結果です。


7th Anime XL Bの生成結果です。

BluePencil XL v6.0.0の生成結果です。低確率ですが、意図したポーズの出力があります。

次に、ControlNet OpenPoseを利用します。OpenPose Editorを使用して下図のポーズを作成します。


[Send to txt2img]ボタンをクリックし、ポーズをtxt2imgのControlNetの入力に設定します。 Preprocessorを"none"に設定し、Modelを"thibaud_OpenPoseXL2" (モデルハッシュ:f4251cb4)を指定します。
Control Weightは0.5まで下げます。


プロンプトは以下を利用します。 LizMix v6.0での生成結果です。近いポーズは出力されますが、意図したポーズとは微妙に違います。

PoseMy.ArtからDepthを出力し、ControlNet Depthを使用する方法も試します。
PoseMy.Artでポーズをさぃせおそ。Depthをエクスポートします。


下図のDepth画像を出力できました。


ControlNetの入力画像にDepthの画像を設定します。Preprocessorに"none"を Modelに "diffusers_controlnet-zoe-depth-sdxl-1.0" (モデルハッシュ:edc9485c)を指定します。
Control Weightは0.5まで下げます。


画像を生成します。生成結果は下図です。

画像の生成はできましたが、ややポーズが固い印象があります。

3つの方法でポーズの画像を生成しましたが、生成画像を見比べた結果、 下図の画像を採用しました。ControlNet Sketchで作成した画像が採用になりました。


生成した画像のシャツの色や髪色を変更します。カラーの変更には、ContorlNet Tileを利用します。
ControlNetの入力画像に採用した画像を設定します。Preprocessorに "tile_resample" を指定し、Modelに "TTPLANET_Controlnet_Tile_realistic_v2_fp16" (モデルハッシュ:c32b8550)を指定します。


以下のプロンプトで画像生成を実行します。

生成結果は下図です。ポーズは変えずにカラーの変更ができました。


下図の画像を採用します。手が不自然なので、修正します。


修正した画像を img2img に入力します。img2imgのDenoising strengthは0.5に設定します。
ControlNet Lineartを利用します。Preprocessorに"lineart_standard (from white bg & black line)" を指定し、 Modelに"controlnetxlCNXL_tencentarcLineart" (モデルハッシュ:905c2459)を指定します。 Contorl Weightは0.5に設定します。



生成結果は下図です。

下図の画像を採用しました。

最後にADetailerを適用して表情を変更して完成とします。

別の衣装に変更する場合は、採用画像をControlNetの入力画像として、OpenPoseを利用します。 Preprocessorを"dw_openpose_full"、Modelを "thibaud_OpenPoseXL2" (モデルハッシュ:f4251cb4)を指定します。


以下のプロンプトで画像生成します。ポーズや手が崩れてしまう場合もありますが、衣装を変更した画像を生成できます。

若干ポーズが異なりますが、モデルによっては以下のプロンプトが有効な場合があります。

かなりの低頻度ですが、うまくいくと水平方向に腕を伸ばして紹介するポーズが生成できる場合があります。