iPentec.com / Document / カテゴリ: 画像生成 / タグ: 画像生成 Stable Diffusion ComfyUI

TIPOを利用してプロンプトを生成する

TIPOとは

TIPO は"Text‑to‑Image with text Pre‑sampling for Prompt Optimization" の略で、テキストから画像を生成する（T2I）モデル向けに「ユーザープロンプトを自動でリッチ化する軽量プロンプト最適化フレームワーク」です。

簡素な入力文を、モデルが最も理解しやすい形式・語彙に自動拡張して画像生成に渡すことで、画質・整合性・多様性を同時に高めます。従来の LLM や RL ベース方式より計算量が少なく、さまざまな T2I モデルに汎化しやすいのが特徴です。

TIPO拡張(z-tipo-extension)のインストール

ComfyUIを起動し、ウィンドウ上部の[Manager]ボタンをクリックします。下図のComfyUI Mangerのダイアログが表示されます。 [Custom Nodes Manager]のボタンをクリックします。
TIPOを利用してプロンプトを生成する:画像1

カスタムノードの一覧が表示されます。
TIPOを利用してプロンプトを生成する:画像2

ダイアログ上部の[Search]テキストボックスに"TIPO"を入力します。フィルタされた結果が表示されます。
TIPOを利用してプロンプトを生成する:画像3

[z-tipo-extension]の項目の[Install]ボタンをクリックします。
TIPOを利用してプロンプトを生成する:画像4

バージョン選択ダイアログが表示されます。今回は[nightly]を選択しています。[Select]ボタンをクリックします。
TIPOを利用してプロンプトを生成する:画像5

インストールが始まります。
TIPOを利用してプロンプトを生成する:画像6

インストールが完了すると下図の画面が表示されます。ダイアログ左下の[Restart]ボタンをクリックしてComfyUIを再起動します。
TIPOを利用してプロンプトを生成する:画像7

再起動するとモデルなどのダウンロードがあります。長時間反応しなくなってしまった場合は一度ComfuUIを閉じて、再起動します。
TIPOを利用してプロンプトを生成する:画像8

再起動できました。
TIPOを利用してプロンプトを生成する:画像9

TIPOを利用したプロンプト生成

TIPOを利用してプロンプトを生成します。txt2imgのワークフローを準備します。
TIPOを利用してプロンプトを生成する:画像10

背景部分で右クリックします。ポップアップメニューが表示されますので、[ノードを追加]>[utils]>[promptgen]とメニューをたどり、[TIPO]の項目をクリックします。
TIPOを利用してプロンプトを生成する:画像11 TIPOを利用してプロンプトを生成する:画像12

クリックするとTIPOのノードが追加されます。
TIPOを利用してプロンプトを生成する:画像13 TIPOを利用してプロンプトを生成する:画像14

プロンプトを確認するためのノードを追加します。[ノードを追加]>[utils]とメニューをたどり、[ShowText]の項目をクリックします。

補足

ShowTextはComfyUI-Custom-Scriptsのノードのため、ComfyUI-Custom-Scriptsをインストールする必要があります。
ComfyUI-Custom-Scriptsのインストールはこちらの記事を参照してください。

TIPOを利用してプロンプトを生成する:画像15

ShowTextのノードが追加できました。
TIPOを利用してプロンプトを生成する:画像16

TIPOのノードの[prompt]と[Show Text]ノードの[text]をドラッグして接続します。また、TIPOのノードの[prompt]と[CLIPテキストエンコード (プロンプト)]のテキストボックスの左上とをドラッグして接続します。(下図)
TIPOを利用してプロンプトを生成する:画像17

TIPOのノードの項目にタグやプロンプトを入力します。

tags	タグ	画像生成の際に使用するキーワードや属性を指定します。通常のプロンプトの入力と同じものと考えてよいです。
nl_prompt	自然言語プロンプト	自然言語で画像生成の指示を記述します。入力は任意です。
ban_tags	禁止タグ	生成されるプロンプトから除外したいタグを指定します。

TIPOを利用してプロンプトを生成する:画像18

今回は、tagsに以下を入力しました。

1girl, sunflower background, spacecraft, blue sky

[tipo_model]には"KBlueLeaf/TIPO-500M-ft | TIPO-500M-ft-F16.gguf"を指定しています。
TIPOを利用してプロンプトを生成する:画像19

[実行する]ボタンをクリックして実行開始します。
Show Textのノードに元のタグから拡張したプロンプトの内容が表示されます。
TIPOを利用してプロンプトを生成する:画像20

画像も生成できました。
TIPOを利用してプロンプトを生成する:画像21

元のタグと拡張されたプロンプトは以下となります。プロンプトは実行ごとに変化します。

元のタグ

1girl, sunflower background, spacecraft, blue sky

拡張されたプロンプト(一例)

1girl,

sunflower background, spacecraft, blue sky, blue footwear, shorts, red eyes, brown hair, kneehighs, full body, blush, sitting on object, flower, shoes, blue background, sky, cloudy sky, hat, socks, looking at viewer, long hair, sunflower, day, white shirt, smile, cloud, closed mouth, shirt, sitting, yellow headwear, holding, solo, ufo, black socks, outdoors, white shorts, short sleeves,

A young girl sitting on top of a large yellow flower. she is wearing a blue dress, white shorts, and black socks. the background is filled with fluffy white clouds and colorful triangles in various shades of pink, orange, yellow, green, blue, and purple. there are also two small planes flying in the sky above her.

生成結果の比較

TIPOありとなしの場合の画像背性結果を比較します。
以下のプロンプトで画像生成をします。

Prompt

Prompt: 1girl, standing, sunflower field background, blue sky, beautiful scene,spacecraft background, masterpiece, best quality
Negative prompt: worst quality, low quality

モデルはAnimagine XL v4.0 opt を利用しています。

生成結果は下図です。
ありとなしでかなり雰囲気が異なりますが、TIPOを利用したほうは全体的に明るく鮮やかな発色の印象です。また、TIPOなしでは花と人物の大きさが合わないものが生成されたりしますが、TIPOありでは改善されます。

一方で、プロンプトに表現がたくさん追加されるため、相対的に"spacecraft"の意味が弱くなるためか、 TIPOありの画像生成結果には宇宙船がほとんど描画されない結果となりました。

TIPOあり - TIPOを利用してプロンプトを生成する:画像22 — TIPOあり

TIPOなし - TIPOを利用してプロンプトを生成する:画像23 — TIPOなし

参考:拡張されたプロンプト(一例)

1girl,

standing, sunflower field background, blue sky, beautiful scene, spacecraft background, hair between eyes, day, long hair, cowboy shot, smile, dress, large breasts, hat, short sleeves, cloudy sky, hand up, flower, outdoors, brown hair, blue eyes, straw hat, sunflower, looking at viewer, breasts, sun hat, field, collarbone, closed mouth, sidelocks, blush, cloud, sky, white dress, sundress, solo, mountainous horizon,

A young girl standing in a field of sunflowers. she is wearing a white dress and a straw hat with a wide brim. the background shows a blue sky with white clouds and mountains in the distance. there are also some green leaves scattered throughout the image.

masterpiece, best quality

著者

とりっち

iPentecのメインデザイナー
Webページ、Webクリエイティブのデザインを担当。PhotoshopやIllustratorの作業もする。最近は生成AIの画像生成の沼に沈んでいる。

作成日: 2025-01-06

目次

TIPOを利用してプロンプトを生成する

目次

TIPOとは

TIPO拡張(z-tipo-extension)のインストール

TIPOを利用したプロンプト生成

生成結果の比較

関連するページ