FramePack, FramePack-F1 でアニメーション動画を生成します。

事前準備

FramePackのインストール

FramePackをインストールします。インストール手順はこちらの記事を参照してください。
FramePack-F1のインストールはこちらの記事を参照してください。

入力画像の準備

動画を生成するための元画像を用意します。今回は下図の画像を用意しました。サイズは640x640ピクセルです。

動画の生成

FramePackを起動します。起動できるとWebブラウザが起動し、下図のページが表示されます。


[Image]の枠をクリックして画像を選択するか、ドラッグ＆ドロップで[Image]の枠に画像をドロップして、入力画像を設定します。 下図は入力画像が設定できた状態です。


[Prompt]のテキストボックスに動画のプロンプトを入力します。今回は以下のプロンプトを入力します。

各種オプションはデフォルトのままとします。(下図参照)

設定ができましたら、[Start Generation]ボタンをクリックします。動画の生成が始まります。

動画の生成が完了すると下図の状態になります。右側に生成できた動画のプレビューが表示されます。 デフォルトの設定では5秒の動画が生成されます。

出力フォルダ (FramePackの配置ディレクトリ)\webui\outputs にmp4形式で動画が作成されています。 ファイルが複数作成されており、9フレームごとに延長された動画が生成されていることが確認できます。

動画生成結果

次のプロンプトで、FramePackとFramePack-F1 で生成します。

動画

動画は以下です。

コメント

全体的にFramePack-F1のほうが自然な動きのアニメになる印象です。
うまい動きを出すためのプロンプトの工夫は必要そうな印象です。

出力結果1: FramePack / Prompt: girl speaks quickly, at cafe,

もう少し口パクしてほしいイメージでしたが、後半部分しか口パクしてくれませんでした。

出力結果2: FramePack / Prompt: girl moving arms, at cafe,

自然な手の動きを期待していましたが、謎なジェスチャーのような動きになっています。

出力結果3: FramePack / Prompt: girl is quickly opening and closing mouth, at cafe,

口パクしてほしい想定でしたが、開いた口が閉じるだけになってしまいました。

出力結果4: FramePack-F1 / Prompt: girl speaks quickly, at cafe,

口パクできています。いい感じです。

出力結果5: FramePack-F1 / Prompt: girl moving arms, at cafe,

後半、踊り出してしましまいますが、前半は自然な動作な印象です。

出力結果6: FramePack-F1 / Prompt: girl is quickly opening and closing mouth, at cafe,

口パクから後半、大口を開ける動作になってしまいました。