MiniMax H3でさらに高速化できるSLA Attention という方式が登場したと聞きました。どのように導入するのでしょうか？
MiniMax H3 でSLA Attention の導入手順を紹介します。
SLA Attention（Sparse-Linear Attention）は、Attentionで計算する対象を削減して推論を高速化する技術です。 通常のAttentionでは各トークン間の関係を広範囲に計算しますが、SLAでは重要度の高い部分を選択し、影響の小さいAttention計算を省略します。特に動画生成ではトークン数が非常に多くなるため、大きな高速化が期待できます。
排他的な技術ではなく、SLAによって計算対象を絞り込み、その計算にSageAttentionを利用することもできます。
どちらもSparse Attentionの仕組みのため、競合する処理となるため共存はしないほうが良いです。
SLA Attentionのノードをインストールします。
次のコマンドを実行します。
cd (ComfyUIの配置ディレクトリ)\ComfyUI\custom_nodes
git clone https://github.com/PlagueKind/ComfyUI-PlagueKind-Nodes.git
ComfyUIを起動します。インストールができると、ノードの一覧に"H3 SLA Attention"のノードが追加されます。
ワークフローは以下となります。
ワークフローでは、モデルから Sage Attention, First Block Cache, SLA Attention の順番に接続します。
Model
↓
Sage Attention
↓
First Block Cache
↓
SLA Attention
├→ Guider
└→ Scheduler
以下はSage Attention, First Block Cache と併用した場合のワークフローです。
