Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール)

Stable Diffusion WebUI にStable Diffusion 2.x のカスタムモデルである、Waifu Diffusion 1.5、Replicant V3 をインストールする手順を紹介します。

概要

多くの画像生成モデル(checkpoint)が提供されているのは、Stable Diffusion 1.x (1.5)をもとにしたモデルですが、 バージョン 2.x (2023年6月時点では 2.1)のカスタムモデルも存在しています。
バージョン2系でメジャーなモデルの一つに、Replicant V3, Waifu Diffusion 1.5 があります。 この記事では、Automatic1111 Stable Diffusion Web UI でバージョン2系のモデルを利用する手順を紹介します。

事前準備

Stable Diffusion WebUIをインストールします。インストール手順はこちらの記事を参照してください。

メモ
Version 1.5系のモデルを扱うAutomatic1111 Stable Diffusion Web UI と バージョン2系のモデルを扱うAutomatic1111 Stable Diffusion Web UI は 別のディレクトリに分けてインストールしたほうが、管理しやすいかと思います。

手順:モデル(Stable Diffusion 2.1)のインストール

Stable Difussion 2.1 のリポジトリのページ(https://huggingface.co/stabilityai/stable-diffusion-2-1/)にアクセスします。
下図のページが表示されます。
[Files]タブをクリックします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像1

Filesタブが選択され、ファイル一覧が表示されます。モデルファイルはルートディレクトリにあります。 "v2-1_768-ema-pruned.safetensors" のファイルをダウンロードします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像2

VAEファイルをダウンロードします。[VAE]ディレクトリの項目をクリックします。"diffusion_pytorch_model.safetensors"ファイルをダウンロードします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像3
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像4

ダウンロードした"v2-1_768-ema-pruned.safetensors"ファイルは、次のディレクトリに配置します。

(Stable Diffusion Web UIを配置したディレクトリ)\models\Stable-diffusion

Put Stable Diffusion checkpoints here.txt ファイルがあります。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像5
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像6

VAEファイル("diffusion_pytorch_model.safetensors"ファイル)を配置します。次のディレクトリに配置します。

(Stable Diffusion Web UIを配置したディレクトリ)\models\VAE

Put VAE here.txt ファイルがあります。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像7

"diffusion_pytorch_model.safetensors"ファイルを配置します。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像8

手順:モデル(Replicant V3)のインストール

Waifu Diffusion 1.5ベースでトレーニングされたモデルとして、Replicant V3があります。こちらを利用すると、高品質なイラストを生成できます。
Replicant V3をインストールします。

Replicant V3のハブ(https://huggingface.co/gsdf/Replicant-V3.0)にアクセスします。下図のページが表示されます。
[Files]のタブをクリックします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像9

下図のファイルの一覧ページが表示されます。"Replicant-V3.0_fp32.safetensors" または "Replicant-V3.0_fp16.safetensors" をダウンロードします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像10

今回は、"Replicant-V3.0_fp32.safetensors" をダウンロードしました。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像11

ダウンロードした、"Replicant-V3.0_fp32.safetensors" ファイルを以下のディレクトリに配置します。

(Stable Diffusion Web UIを配置したディレクトリ)\models\Stable-diffusion

Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像12
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像13

Stable Diffusion Web UIを起動し、Webブラウザでアクセスします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像14

ページ左上の[Stable Diffusion checkpoint]のドロップダウンリストボックスをクリックします。 ドロップダウンリストが表示されますので、"Replicant-V3.0"の項目をクリックして選択します。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像15
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像16

a 1girl, standing against wall, のプロンプトで画像を生成します。出力できました。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像17
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像18

a 1girl, standing against wall,
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3312578792, Size: 512x512, Model hash: 190d45efde, Model: Replicant-V3.0_fp32


high steel towerのプロンプトで画像を生成します。こちらもプロンプトに合ったイメージが出力できました。 彩度が低めの落ち着いたトーンで画像が生成される傾向にあるようです。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像19
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像20

high steel tower
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1492097696, Size: 512x512, Model hash: 190d45efde, Model: Replicant-V3.0_fp32

手順:モデル(Waifu Diffusion 1.5)のインストール

続いてWaifu Diffusion 1.5をインストールします。2023年6月時点では、Beta3 が最新版です。
Waifu Diffusionのリポジトリのページ(https://huggingface.co/waifu-diffusion)にアクセスします。 [waifu-diffusion/wd-1-5-beta3]の項目をクリックします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像21

Waifu Diffusion 1.5 Beta 3のページが表示されます。ページの[Files and versions]をクリックします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像22

[Files and versions]のタブが選択され、ファイルの一覧が表示されます。 "wd-illusion-fp16.safetensors","wd-ink-fp16.safetensors","wd-mofu-fp16.safetensors","wd-radiance-fp16.safetensors"のファイルをダウンロードします。 "wd-beta3-base-fp16.safetensors"は学習に利用するモデルのため、通常は使いません。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像23

モデルのファイルをダウンロードします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像24

モデルのファイルをダウンロードできました。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像25

ダウンロードした"wd-illusion-fp16.safetensors","wd-ink-fp16.safetensors","wd-mofu-fp16.safetensors","wd-radiance-fp16.safetensors"のファイルは、 次のディレクトリに配置します。

(Stable Diffusion Web UIを配置したディレクトリ)\models\Stable-diffusion

Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像26

VAEファイルはバージョン1.4のものを利用するのが推奨です。
https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt のページにアクセスし、 "kl-f8-anime2.ckpt" ファイルをダウンロードします。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像27

"kl-f8-anime2.ckpt" ファイルを次のディレクトリに配置します。

(Stable Diffusion Web UIを配置したディレクトリ)\models\VAE

Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像28

画像生成: Waifu Diffusion 1.5

Stable Diffusion Web UIを起動します。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像29

画面左上の[Stable Diffusion checkpoint] のドロップダウンリストボックスをクリックします。 ドロップダウンリストが表示されます。追加した、Stable Diffusion 2.1 のモデルと、Waifu Diffusion 1.5 Beta3 の4つのモデルが追加されていることが 確認できます。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像30

[wd-ink-fp16.safetensors]の項目をクリックして選択します。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像31

プロンプトを入力して[Generate]ボタンをクリックして画像を生成します。次のプロンプトを利用します。

Prompt
1 girl standing in fornt of the wall

Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像32

[Generate]ボタンをクリックすると画像が生成されました。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像33
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像34

動作確認は以上で完了です。

モデルの比較

Waifu Diffusion の4つのモデルで生成される画像の違いを確認します。

プロンプトは以下を利用します。シード値は固定しません。

Prompt
1 girl standing in front of the wall, extreme beautiful girl,

Illustion

背景がややリアル、キャラクターの塗りもややリアルに近い仕上がりになる印象です。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像35
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像36

Ink

コミカルな出力結果になります。漫画的、手書き感のある仕上がりになる印象です。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像37
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像38

mofu

やや芸術的、あるいはポップ感のある仕上がりになる印象です。キャラクターの外形の線が、ほぼ無くなる印象です。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像39
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像40

radiance

mofuと似た仕上がりになりますが、キャラクターの線はmofuより目立つ印象です。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像41
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像42

Waifu Diffusion 他の出力例

Inkの出力がこれまでと一味違う出力傾向のため、いくつか出力してみました。

Prompt
classroom
Negative prompt
low quality


教室が描画できました。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像43

Prompt
ice cream show
Negative prompt
low quality


手書き感のあるアイスショップが生成されました。なかなか良いと思います。
Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像44

Prompt
a girl travel in Mijas
Negative prompt
low quality,photo


固有名詞(ミハス)を入れて、 かなり無茶振りしてみましたが、結構いい感じのイメージが生成されました。Negative prompt に"Photo"を指定しないと、 写真素材の影響が強まり、実写的な出力になるため、"Photo"をNegative promptに追加しています。

Stable Diffusion 2.x のカスタムモデルをインストールして画像生成する (Replicant V3 のインストール):画像45

AuthorPortraitAlt
著者
iPentecのメインプログラマー
C#, ASP.NET の開発がメイン、少し前まではDelphiを愛用
作成日: 2023-05-27
Copyright © 1995–2025 iPentec all rights reserverd.