Sage Attention とは

アテンション計算を量子化して高速化する、学習不要の置き換え型カーネルです。

Sol-Attn との関係

• Sage Attention : アテンション計算を量子化して「1回あたりの計算を速くする」。全ステップ・全レイヤーに適用可能です。
• Sol-Attn : スパースアテンション系で、指定した範囲のアテンション計算を間引いて減らす処理です。tau(大きいほど速いが粗い)とstart/endパラメータで、適用するサンプリングステップ範囲を指定します。

2つの処理は排他ではなくフォールバック関係になります。Sol-Attnのstart〜end範囲外ではSage Attentionが使われる動作になります。

• start〜endの範囲内(通常は中盤ステップ) → Sol-Attnが優先
• 範囲外(序盤・終盤ステップ) → Sage Attentionが処理

各ステップ・各アテンション呼び出しで実際に動くのは常にどちらか一方ですが、ワークフロー全体としては両方が有効に働きます。

Sage Attention の導入

Sage Attention のWheelのダウンロード

以下のURLからSage Attention のWheelをダウンロードします。

• https://github.com/woct0rdho/SageAttention/releases

アクセスすると以下のファイルがダウンロードできます。

• sageattention-2.2.0+cu128torch2.10.0andhigher.post6-cp310-abi3-win_amd64.whl
• sageattention-2.2.0+cu128torch2.9.1.post6-cp310-abi3-win_amd64.whl
• sageattention-2.2.0+cu130torch2.10.0andhigher.post6-cp310-abi3-win_amd64.whl
• sageattention-2.2.0+cu130torch2.9.1.post6-cp310-abi3-win_amd64.whl

Wheelと環境の対応は以下の通りです。

ファイル	CUDA	PyTorch
cu128torch2.9.1	12.8	2.9.1 専用
cu128torch2.10.0andhigher	12.8	2.10.0 以上
cu130torch2.9.1	13.0	2.9.1 専用
cu130torch2.10.0andhigher	13.0	2.10.0 以上

PyTorchのバージョンは、ComfyUI起動時に確認できます。

今回は sageattention-2.2.0+cu130torch2.10.0andhigher.post6-cp310-abi3-win_amd64.whl をダウンロードします。

Sage Attention のWheelのインストール

pipコマンドを実行してインストールします。

cd (ComfyUIの配置ディレクトリ)
python_embeded\python.exe -m pip install (Sage AttentionのWheel配置ディレクトリ)\sageattention-2.2.0+cu130torch2.10.0andhigher.post6-cp310-abi3-win_amd64.whl

Patch Sage Attention KJノード のインストール

Sage Attentionをワークフロー内で有効、無効を切り替えられるようにする、"Patch Sage Attention KJノード"をインストールします。
次のコマンドを実行します。

cd (ComfyUIの配置ディレクトリ)\ComfyUI\custom_nodes
git clone https://github.com/kijai/ComfyUI-KJNodes.git

ComfyUIを起動すると、ノード一覧に "Patch Sage Attention KJ" ノードが追加されます。

ワークフロー

Turbo LoRAやFirstBlockCache などをすべて利用する場合は、ノードの接続は以下の順番となります。

Load Diffusion Model (UNETLoader)
  → LoraLoaderModelOnly (Turbo LoRA)
  → Patch Sol-Attn
  → Patch Sage Attention KJ
  → FirstBlockCache (または EasyCache)
  → BasicGuider (model入力へ)

Patch Sage Attention KJ ノードの[sage_attention]の設定は "auto" にします。