AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する手順を紹介します。

概要

こちらの記事では、AnimateDiffでimg2imgで2枚の画像からアニメーションを作成する方法を紹介しました。
この記事では、img2imgの際にIP-Adapterを適用して、単純にimg2imgを実行する場合よりさらに、画像の崩れがないアニメを生成する手順と、 実行結果を紹介します。

手順

こちらの記事の方法に従って、AnimateDiffでimg2imgでアニメーションを生成する設定をします。
設定後、ControlNetのタブを開きます。[Enable]チェックボックスをクリックしてチェックをつけます。 [Preprocessor]を"ip-adapter_clip_sd15"に設定します。[Model]を"ip-adapter-plus_sd15"に設定します。 デフォルトの設定ではimg2imgの入力画像がControlNetの入力画像になります。
[Control Weight]の値は "0.3" に設定します。この値はアニメーションの生成結果を見ながら変化させます。

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像1

生成結果

次のパラメーターで生成します。

設定1
Latent power: 1.0
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.3


顔の向きは変わらず、ほとんど動きません。
AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像2

パラメーターを変更して、以下のパラメーターで生成します。

設定1
Latent power: 1.5
Optional latent power for last frame: 1.5
IP-Adapter Control Weight: 0.3


IP-Adpterを利用しない場合は、横顔になりましたが、IP-Adapterの影響があるためか、45度程度しか向きを変えません。
AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像3

パラメーターを変更して、以下のパラメーターで生成します。

設定1
Latent power: 1.75
Optional latent power for last frame: 1.75
IP-Adapter Control Weight: 0.3


こちらも横顔にはなりません。
AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像4


パラメーターを変更して、以下のパラメーターで生成します。

設定1
Latent power: 2.0
Optional latent power for last frame: 2.0
IP-Adapter Control Weight: 0.3


こちらも横顔にはなりません。ノイズ的なオブジェクトが描画されています。

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像5

設定1
Latent power: 2.0
Optional latent power for last frame: 1.5
IP-Adapter Control Weight: 0.3


こちらも横顔にはなりません。

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像6

設定1
Latent power: 2.0
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.3


こちらも横顔にはなりません。あまり動かないアニメーションになってしまいました。

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像7

IP-Adapterのウェイトを下げます。

設定1
Latent power: 2.0
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.2


こちらも横顔にはなりませんが、かなり横顔に近い状態まで向きを変えます。

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像8

設定1
Latent power: 2.5
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.2


こちらも横顔にはなりませんが、かなり横顔に近い状態まで向きを変えます。

AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像9

さらに、IP-Adapterのウェイトを下げます。

設定1
Latent power: 2.5
Optional latent power for last frame: 1.0
IP-Adapter Control Weight: 0.1

こちらも横顔にはなりませんが、かなり横顔に近い状態まで向きを変えます。
AnimateDiff でimg2img + IP-Adapter を利用してアニメーションを作成する:画像10

動画

生成結果の動画です。


AuthorPortraitAlt
著者
iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。 最近は生成AIの画像生成の沼に沈んでいる。
作成日: 2023-11-07
Copyright © 1995–2025 iPentec all rights reserverd.