SDXLのVAEについてはこちらの記事を参照してください。
Stable Difussion （SD1.5) でよく使われるVAEのリストの紹介です。
変分オートエンコーダ (Variational Auto-Encoder)の略です。
Stable DifussionでのVAEは逆算プロセス処理後の画像出力時のデコードに利用され、VAEの違いが画像の出力の違いに影響します。
stabilityaiのハブで提供されているデフォルトに近い位置づけのVAEです。実写系の画像でも描画系の画像でも対応できるVAEとされています。
インストール手順はこちらの記事を参照してください。
イラスト、描画系でよく使われるVAEです。Checkpointモデルの推奨VAEとして指定されている場合が多くあります。
インストール手順はこちらの記事を参照してください。
イラスト、描画系でよく使われるVAEです。モデルの推奨VAEとして指定されているものが数多くあります。
kl-f8-anime もありますが、kl-f8-anime2 の利用が多いです。
インストール手順はこちらの記事を参照してください。
pastel-mix モデルと合わせて提供されているVAEです。こちらも推奨設定で指定されている場合があります。
ダウンロード先は https://huggingface.co/JamesFlare/pastel-mix/tree/main の "pastel-waifu-diffusion.vae.pt" です。
OrangeMixモデルと合わせて提供されているVAEです。こちらも推奨設定で指定されている場合があります。
ダウンロード先は https://huggingface.co/WarriorMama777/OrangeMixs/tree/main/VAEs の "orangemix.vae.pt" です。
Conterfeit V2.5 のVAEです。他のモデルや環境で推奨設定されていることはほとんどないです。
ダウンロード先は https://huggingface.co/gsdf/Counterfeit-V2.5/tree/main の "Counterfeit-V2.5.vae.pt" です。
Anything 4.0モデルと合わせて提供されているVAEです。こちらも推奨設定で指定されている場合が稀にあります。
ダウンロード先は https://huggingface.co/xyn-ai/anything-v4.0/tree/main の "anything-v4.0.vae.pt" です。
こちらも推奨設定で指定されている場合が稀にあります。
モデルやプロンプトとの組み合わせにもよりますが、blessed2では鮮やかな彩度の高いカラー、強めのハイライトが出力される傾向があります。
ダウンロード先は https://huggingface.co/NoCrypt/blessed_vae/tree/main の "blessed.vae.pt" "blessed-fix.vae.pt" "blessed2.vae.pt" です。
配布先と名称は異なりますが、以下のファイルは同一のものです。
同じ画像出力でVAEを変更して出力画像がどの程度変化するかを確認します。
今回、VAEが含まれていないモデルと、VAEがモデルに含まれている(Baked VAE)の2つのモデルの出力結果で比較します。
VAEを指定しない場合です。
Automaticはモデルと同名のVAEを自動で利用します。
ほぼ同じ結果ですが、形状に若干の違いがみられます。
モデルにVAEが含まれていないモデルの場合の出力です。淡く彩度の低い画像が生成されます。
VAEが含まれているモデルの場合の出力です。標準の出力になります。NoneとAutomaticで色味は同じですが、形状にわずかな違いがあります。
VAE無しと比較すると、彩度が上がった出力結果になります。形状の変化も見られます(左側の木が大きく変化しています)。
また、わずかに彩度が落ち、一部の形状が変化しています。
vae-ft-mse-840000-ema-prunedと比較すると、若干彩度が低いです。VAE無しよりは彩度が上がった出力結果になります。
彩度が落ち、落ち着いたカラーでの出力になります。
Clear VAEと比較すると色味の変化は少ないですが、形状の変化があります。VAE無より彩度は高く、vae-ft-mse-840000-ema-prunedより彩度は低いです。
VAE無しと比較して、色味の変化はほとんどありませんが、形状がわずかに変化している部分があります。
彩度が上がり、赤みのある出力結果になりました。
赤みが若干増し、画像全体が明るい結果になりました。コントラストが大きくなるため、星空が映える印象です。
やや彩度が低めになる印象です。kl-f8-anime2より若干低い彩度です。kl-f8-anime2よりシャープ感が減り全体的に柔らかい印象です。
VAE無しと比較して、彩度が落ち、落ち着いたカラーリングになります。シャープ感も減り、柔らかい画像になります。
明暗のコントラストがしっかりつく印象です。シャープ感もほどほどにあります。
blessedと比較するとコントラストは弱めになり、全体が明るい画像になる印象です。シャープ感はblessedと同程度の印象です。ハイライト、光沢感が強めになる印象です。
blessed, blessed-fix と比較すると若干画面全体の彩度が落ちている印象です。blessedと比較して落ち着いた画像が出力される傾向です。
シャープ感はblessedと同程度です。ハイライト、光沢感が強めになる印象です。
VAEの種類により、出力画像に違いがあり、それぞれ特徴があるため、どのVAEを選択するか悩ましい面がありますが、おおむね次のような使い分けができそうです。
2023年6月時点では、kl-f8-anime2、Clear VAE、vae-ft-mse-840000-ema-pruned を推奨としている環境が多いため、
彩度とシャープ感の両方でバランスの良いVAEを選択するのがトレンドのようです。
