LoRAのウェイトの違いによる生成画像の違い

LoRAのウェイトの違いによる生成画像の違いを確認します。

概要

LoRAを適用する際に適用度のウェイトを変更できます。この記事では、LoRAのウェイトを変更して生成画像がどう変化するかを確認します。

LoRAの学習

学習データ

こちらのページの「学習データ (テスト用 ミニ v4)」を利用します。

パラメーター

SDXLで学習します。network_dim は64を利用します。
Epochは強めに学習した状態の800を利用します。

プロンプト

次の3つのプロンプトでウェイトの違いによる生成画像の結果を確認します。

Prompt1
Prompt: <lora:toricchi-000n00:1> toricchi, duck
Negative prompt: worst quality, low quality
Prompt2
Prompt: <lora:toricchi-000n00:1> toricchi, duck,1 girl, sunflower field background, blue sky
Negative prompt: worst quality, low quality
Prompt3
Prompt: <lora:toricchi-000n00:1> toricchi, duck, cyberpunk, dark city, battle
Negative prompt: worst quality, low quality

生成結果

Weight:1.0

背景が学習画像のグレーで出力されるケースが多いです。学習しすぎの傾向です。

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像1
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像2
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像3

Weight:0.9

ウェイトを0.1下げました。この状態でもグレーの背景色の出力が多いですが、グレーになる出力が若干減っています。

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像4
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像5
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像6

Weight:0.8

グレーの背景色の出力が減ってきています。Prompt2では、女の子とToricchi両方が出力される場合も出てきます。

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像7
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像8
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像9

Weight:0.7

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像10
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像11
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像12

Weight:0.6

0.6まで下がると、学習元画像の形状より、duckの形状が反映される場合が増えてきます。

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像13
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像14
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像15

Weight:0.5

ウェイトが0.5まで下がると、Epoch200以下で学習したLoRAより弱い適用度になります。 (参考)

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像16
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像17
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像18

Weight:0.4

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像19
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像20
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像21

Weight:0.3

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像22
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像23
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像24

Weight:0.2

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像25
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像26
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像27

Weight:0.1

Prompt1
LoRAのウェイトの違いによる生成画像の違い:画像28
Prompt2
LoRAのウェイトの違いによる生成画像の違い:画像29
Prompt3
LoRAのウェイトの違いによる生成画像の違い:画像30

評価・所感

強めに学習したLoRAでもウェイトを下げると、学習回数を減らした際の結果と似た結果が得られます。
学習回数が少ないLoRAでは、生成画像の崩れが目立つ場合がありますが、強めに学習したLoRAのウェイトを下げた場合は、 生成画像の崩れが比較的少ないです。

生成画像の崩れを少なくする目的で、学習回数を増やして少し強めに学習したLoRAでウェイトを下げて利用してもよいかもしれません。

AuthorPortraitAlt
著者
iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。 最近は生成AIの画像生成の沼に沈んでいる。
作成日: 2023-08-12
Copyright © 1995–2025 iPentec all rights reserverd.