Simple cute girl, yellow shirt
Stable DiffusionでAIにイラストを手直ししてもらう手順を紹介します。
描画したイラストをAIに手直ししてもらい、品質を向上させます。
Stable Diffusionの"img2img"機能を利用すると、入力画像に対してプロンプトをもとに画像を生成できます。
今回、こちらの画像を利用します。CG黎明期にペイントブラシを利用して描画した画像です。(マウスで描画しました。)
この画像をStable Diffusionに手直ししてもらってかわいい感じに仕上げます。
Stable Diffusion Web UIを利用します。モデルは Counterfeit-V3.0を利用します。
インストール手順などはこちらの記事を参照してください。
Counterfeit-V3.0を利用するため、Easy Negative V2を利用します。
インストール手順はこちらの記事を参照してください。
Stable Diffusion Web UIのページにアクセスします。下図の画面が表示されます。
画面上部の[img2img]のタブをクリックします。下図の画面に切り替わります。
左側の[ここに画像をドロップ -または- クリックしてアップロード]のエリアに画像をドロップするか、クリックします。
クリックするとファイル選択ダイアログが表示されますので、画像を選択してアップロードします。
画像がアップロードできました。
プロンプトを何も入力せずに[Generate]ボタンをクリックして実行しても、
ある程度特徴をつかんだ出力になりますが、だいぶ元のイメージとかけ離れています。
画像の特徴をある程度プロンプトに設定します。まずは、以下のプロンプトを設定します。
Simple cute girl, yellow shirt
EasyNegativeV2
[Generate]ボタンをクリックして、実行します。下図の画像が生成されます。
元のイメージと似た構図で出力できました。まずまずの再現度ですが、髪の毛の色がだいぶ違います。
白い襟も無くなっています。瞳の色がオリジナルの色と同じなのは、なかなかやるな！という感じです。
Simple cute girl, yellow shirt
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 805987025, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
髪の毛の色と襟は欲しいので、プロンプトを次のように書き換えます。Negative promptはEasyNegativeV2のままです。
Simple cute girl, yellow shirt, brown hair, white flat collar
実行します。髪色が茶色になり、襟も付きました。
瞳の色が茶色になってしまいました。また、絵柄もちょっと幼く「なんかちがうんだな」という感じです。
Simple cute girl, yellow shirt, brown hair, white flat collar
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2549249890, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
プロンプトを以下に変更し瞳の色を指定します。
Simple cute girl, yellow shirt, brown hair, white flat collar,gray eye
"gray eye"を設定したものの取り入れてもらえません。
Simple cute girl, yellow shirt, brown hair, white flat collar,gray eye
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2575623433, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
表現を "onyx eyes" に変更し、括弧つきでウェイトを上げてみましたが、瞳が黄色になってしまい、意図した仕上がりではないです。
Simple cute girl, yellow shirt, brown hair, white flat collar,(onyx eyes)
Simple cute girl, yellow shirt, brown hair, white flat collar,(onyx eyes)
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3719398637, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
表現を "Light Gray Eyes" に変更し、括弧つきでウェイトを上げてみました。ある程度、反映されたようです。
Simple cute girl, yellow shirt, brown hair, white flat collar,(Light Gray Eyes)
だいぶ良い感じになってきました。ただし、絵柄がちょっとイメージと違います。
Simple cute girl, yellow shirt, brown hair, white flat collar,(Light Gray Eyes)
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3452609168, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
もう少し細身にしたいので、"slender cheek" を入れてみました。
Simple cute girl, yellow shirt, brown hair, white flat collar,(Light Gray Eyes),slender cheek
ちょっと洋風になりました。イメージしている絵柄は、この感じではないのです。
Simple cute girl, yellow shirt, brown hair, white flat collar,(Light Gray Eyes),slender cheek
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1203601330, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
試行を繰り返した結果、こちらのプロンプトで決定しました。バッチサイズを4にして4種類出力します。
Simple cute girl, yellow shirt, brown hair, white flat collar,(Light Gray Eyes), 21 years old
Simple cute girl, yellow shirt, brown hair, white flat collar,(Light Gray Eyes), 21 years old
Negative prompt: EasyNegativeV2
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 144243724, Size: 512x512, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
あれこれ指示出しして修正してもらうワークフローは、まさに、デザインスタジオのディレクターになった気分です。
なかなかイメージ通りの絵柄にならないため、独自の学習の仕組みは欲しいなと思いました。
さらに粘って、こちらになりました。やはり、絵柄のテイストは覚えさせたいです。
Simple 28 years old cute girl, yellow shirt, teracotta brown hair, (white flat collar),(Light Gray Small Eyes), super fine illustration, Animation Painted,sharp color edge
low quality, simple shading,smooth gradient, simple finish, text, logo, watermark
先の手直しが比較的イメージ通りに修正できたので、さらに崩れた絵を入力して、手直しできるか確認します。
今回の入力画像はこちらです。色も付いていないため、どのような完成形イメージかも漠然としている状態です。
先ほどと同様の手順で、[img2img]で入力画像をアップロードします。
プロンプトの設定は次のとおりとします。ネガティブプロンプトの設定は無しとします。
1 girl, stainding up, short hair, large eyes, short sleeve, wide collar, Shorts,
今回は、完成形イメージが漠然としすぎているため、画像をたくさん作成して、結果を眺めてイメージに近いものを選択します。
バッチサイズを64に設定して実行します。
結果はこちら。
1 girl, stainding up, short hair, large eyes, short sleeve, wide collar, Shorts,
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3257948867, Size: 512x768, Model hash: db6cd0a62d, Model: Counterfeit-V3.0, Denoising strength: 0.75
Counterfeit V3の出力では、創作度が高くイメージに合うものが少ないように見えましたので、新しい、Stable Diffusion 2.1ベースのWaifu Diffusion 1.5 Beta 3で同様の処理を実行してみます。
モデルは、Waife Diffusion illusion を利用します。バッチサイズは64とします。
実行結果は下図です。Waife Diffusionのほうが元の画像に近い素直な出力のような気がします。
1 girl, stainding up, short hair, large eyes, short sleeve, wide collar, Shorts,
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1766760773, Size: 512x768, Model hash: ea4e0d6b79, Model: wd-illusion-fp16, Denoising strength: 0.75
一番イメージに近いこちらを選択しました。
