YuE2 のインストール - ComfyUIを利用

らびるん

質問: ComfyUIでYuE2を使いたい

こちらの記事でYuE2をインストールできましたが、コマンドで実行しなくてはいけないので面倒です。 WebUIで使う方法はありますか？

ComfyUIでYuE2を導入する手順を紹介します。

事前準備: ComfyUIの更新

ComfyUIを最新バージョンに更新します。手順はこちらの記事を参照してください。

ComfyUIがインストールされていない場合はこちらの記事を参照して、ComfyUIをインストールします。

モデルのダウンロード

YuE2

以下のページから "yue2_3b_bf16.safetensors" または "yue2_3b_int8_convrot.safetensors" をダウンロードします。

• https://huggingface.co/Comfy-Org/YuE2/tree/main/checkpoints

ダウンロードしたファイルを以下のディレクトリに配置します。

(ComfyUIの配置ディレクトリ)\ComfyUI\models\checkpoints\yue2

オーディオエンコーダー

入力にサウンドを利用する場合はオーディオエンコーダーのモデルも必要です。
以下のページから "sheetsage2_bf16.safetensors" をダウンロードします。

• https://huggingface.co/Comfy-Org/YuE2/tree/main/audio_encoders

ダウンロードしたファイルを以下のディレクトリに配置します。

(ComfyUIの配置ディレクトリ)\ComfyUI\models\audio_encoders\yue2

ワークフロー

今回はこちらのワークフローを利用しています。

• https://github.com/iPentec/ComfyUI-Workflows/blob/master/YuE2/yue2-simple.json

[style]のノードに作成したい曲のスタイルを入力し、[lyrics]のノードに歌詞を入力し、[実行する]ボタンをクリックします。 曲が生成されoutputディレクトリの"audio/YuE2"ディレクトリに保存されます。

著者

ジョニー

iPentecのプログラマー、最近はAIの積極的な活用にも取り組み中。
とっても恥ずかしがり。