standing on one leg
Stable Diffusionで片足立ちのポーズを生成するプロンプトを検証します。
Stable Diffusionでキャラクターが片足立ちポーズをするプロンプトを作成します。
以下のプロンプトを利用します。モデルによってはプロンプトの反応に違いがあります。
standing on one leg
knee up
次のプロンプトで画像を生成します。
生成結果は下図です。片足立ちのポーズが出力できています。WAI-NSFW Illustriousでは高く足を上げるポーズがやや目立ちます。
生成結果は下図です。まっすぐ膝をあげるポーズが多いです。
片足立ちして、両腕を広げたポーズを出力します。次のプロンプトで画像を生成します。
生成結果は下図です。
先の出力では、片足立ちのポーズが出力できますが、膝を曲げた状態のポーズになりました。膝を伸ばしたポーズで出力します。
プロンプトを検討しましたがプロンプトだけでは求めたポーズになりませんでした。今回はプロンプトに加えて、ControlNetのOpenPoseを利用します。
OpenPose Editorで下図のポーズを作成します。OpenPose Editorの導入はこちらの記事を参照してください。
作成したポーズをControlNetに設定します。
ControlNetのPreprocessorは"None"、モデルは "thibaud_OpenPoseXL2" (ハッシュ値:f4251cb4) を利用します。
Control Weightを0.6に設定しています。
プロンプトは以下を利用します。
生成結果は下図です。膝を伸ばした状態での片足立ちポーズが出力できています。足の向きに若干違和感があったり、
体の流れがあまり綺麗でない出力が多いですが、
目的のポーズは出力できました。
{
"width": 512,
"height": 512,
"keypoints": [
[
305,
71
],
[
305,
114
],
[
255,
112
],
[
186,
99
],
[
108,
91
],
[
362,
112
],
[
412,
103
],
[
492,
78
],
[
216,
225
],
[
152,
280
],
[
37,
320
],
[
283,
279
],
[
276,
357
],
[
277,
459
],
[
296,
53
],
[
317,
54
],
[
289,
64
],
[
324,
66
]
]
}
