MiniMax H3 でセリフの音声に合わせたリップシンク動画を生成する

ぐあもん
質問: MiniMax H3でリップシンク動画
セリフの音声に合わせて、キャラクターがしゃべる動画をMiniMax H3で生成できますかね?


MiniMax H3を利用して、リップシンク動画を生成する手順を紹介します。

事前準備

MiniMax H3 のインストール

こちらの記事を参照して、MiniMax H3をインストールします。

参照フレーム画像の準備

最初のフレームとなる、参照フレームの画像を準備します。今回は下図の画像を用意しました。
MiniMax H3 でセリフの音声に合わせたリップシンク動画を生成する:画像1

セリフの音声の準備

キャラクターにしゃべらせるセリフの音声を準備します。今回は以下の音声を作成しました。セリフの内容は「アイスキャンディ。食べる?」です。
MiniMax H3 でセリフの音声に合わせたリップシンク動画を生成する:画像2

ワークフロー

ワークフローは、Reference to Video (R2V) のものを利用します。
生成速度を高速化するため、[Sol-Attn MiniMax H3 Patcher]を導入しています。

参照画像は1枚にします。[音声を読み込む]ノードを追加し、[MiniMax H3 Reference to Video]ノードの[ref_audio_0]に接続します。

MiniMax H3 でセリフの音声に合わせたリップシンク動画を生成する:画像3

プロンプトは以下とします。

プロンプト
<Audio 1> exactly as it is.,
Use the provided image as the exact first-frame and character reference. Preserve the girl's identity, facial features, short orange hair, blue eyes, white summer dress, anime art style, bright blue sky, white clouds, lighting, and overall composition.

The girl gently pulls the blue popsicle away from her mouth and turns her gaze directly toward the viewer. She gives a soft, friendly smile.

She then slowly extends the hand holding the popsicle forward toward the camera, offering it to the viewer. The popsicle moves slightly closer to the lens and becomes a little larger in perspective, while her face remains clearly visible.

As she offers the popsicle, she speaks naturally in Japanese:
「アイスキャンディ。食べる?」

Her lip movements must accurately match the Japanese dialogue. Her expression is warm, casual, and slightly playful, as though she is speaking to a close friend.

Her hair and the ribbons on her dress move gently in the summer breeze. A few small drops of melted ice fall naturally from the popsicle. Keep all movement soft, subtle, and believable.

The camera remains mostly stationary with a very gentle cinematic push-in. Maintain the original bust-up framing. Do not cut to another angle.

High-quality Japanese anime animation, smooth natural character motion, consistent facial features, clean line art, vivid summer colors, stable hands and fingers, stable popsicle shape.

Audio: a clear, soft young female Japanese voice, gentle and friendly delivery. Light summer ambience with a faint breeze and distant cicadas. No background music.

プロンプト(日本語訳)
<Audio 1>を一切変更せず、そのまま使用する。

提供された画像を、正確な開始フレームおよびキャラクター参照として使用する。女の子の同一性、顔立ち、短いオレンジ色の髪、青い瞳、白い夏服、アニメ調の画風、鮮やかな青空、白い雲、ライティング、全体の構図を維持する。

女の子は青いアイスキャンディを口元からそっと離し、視線をまっすぐこちらへ向ける。そして、やさしく親しみのある笑顔を浮かべる。

続いて、アイスキャンディを持った手をカメラに向かってゆっくりと差し出し、視聴者にすすめる。アイスキャンディはレンズへ少し近づき、遠近感によってわずかに大きく見えるようになるが、女の子の顔ははっきりと見える状態を保つ。

アイスキャンディを差し出しながら、自然な日本語で次のセリフを話す。

「アイスキャンディ。食べる?」

口の動きは、日本語のセリフと正確に一致させる。表情は温かく自然で、少しだけいたずらっぽく、親しい友人に話しかけているような雰囲気にする。

髪の毛と服のリボンが、夏のそよ風に合わせてやさしく揺れる。溶けたアイスの小さなしずくが数滴、アイスキャンディから自然に落ちる。すべての動きは、やわらかく控えめで、自然に見えるものにする。

カメラはほぼ固定したまま、ごく緩やかに映画的なプッシュインを行う。元のバストアップ構図を維持する。別のアングルへ切り替えない。

高品質な日本アニメ風アニメーション。滑らかで自然なキャラクターの動き、一貫した顔立ち、きれいな線画、鮮やかな夏の色彩、安定した手と指、形状が崩れないアイスキャンディ。

音声:明瞭でやわらかな、若い女性の日本語音声。やさしく親しみのある話し方。かすかな風と遠くのセミの声を含む、軽い夏の環境音。BGMは使用しない。

生成結果

生成結果の動画です。
Sol-Attn MiniMax H3 Patcher のthresh_typeがdiagの場合と、exactの場合、Sol-Attn MiniMax H3 Patcher を利用しない場合の3パターンで、3回生成したそれぞれの結果を掲載します。
このSol-Attn MiniMax H3 Patcherの実装では、exactを選択しても、diagと同じ動作になるらしいので、動画生成結果に違いが出ないはずです。

生成結果は以下の動画です。3パターンの結果ですが、ぱっと見では違いは判らないです。


AuthorPortraitAlt
著者
iPentecのメインデザイナー
イタリア好き。Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。 最近は生成AIの画像生成の沼に沈んでいる。
作成日: 2026-08-04