Strataにコントロールベクトルをインストールする

マフマド＝ペン

質問: コントロールベクトルの導入

Strataでモデルの特性が変えられるコントロールベクトルというものがあると聞きました。どのように導入するか教えてください。

Strataにコントロールベクトルをインストールする手順を紹介します。

コントロールベクトルの入手

インストールしたいコントロールベクトルのモデルファイルをダウンロードします。多くの場合 gguf形式で配布されています。
ダウンロードしたコントロールベクトルのggufファイルを以下のディレクトリに配置します。 後ほど設定するjsonファイルにコントロールベクトルのフルパスを記述するため、このディレクトリは別の場所でも問題ありません。

C:\Users\(ユーザー名)\Documents\Strata\Models\Control_Vector\

設定ファイルの変更

以下のディレクトリを開きます。

C:\Users\(ユーザー名)\AppData\Local\Strata\install

ダウンロードして利用可能なモデルごとに(モデル名).json のファイルが配置されています。 コントロールベクトルを適用したいモデルのjsonファイルを開きます。

開いたファイルに "user_args" のブロックを追加します。

user_args ブロックの内容は以下です。

  "user_args": [
    "--control-vector-scaled",
    "C:\\Users\\......\\Documents\\Strata\\Models\\Control_Vector\\(コントロールベクトルのggufファイル):1.0",
    "--control-vector-layer-range",
    "4",
    "44",
    "--cvec-mode",
    "project",
    "--cvec-dir",
    "per-layer"
  ]

{
  "exe": "component:strata-engine",
  "args": [
    ((省略))
  ],
  "cwd": "C:\\Users\\......\\AppData\\Local\\Programs\\Strata\\control",
  "tokenizer": "C:\\Users\\......\\Documents\\Strata\\packs\\iq3_xxs\\tokenizer",
  "model_name": "qwen3.8-flash-next-iq3_xxs",
  "log": "C:\\Users\\......\\AppData\\Local\\Strata\\install\\strata-iq3_xxs.log",
  "lib_dirs": [],
  "port": 8080,
  "gpu": 0,
  "gpus_asked": true,
  "vision": {
    ((省略))
  },
  "args_written": [
    ((省略))
  ],
  "vram_reserve_mib": 6512,
  "ui_reserve_applied": 6512,
  "env": {},
  "ui_resource_baseline": {
    ((省略))  },
  "ui_resource_profile": "work",
  "ui_vision_enabled": true,
  "ui_vision_device": "yes"
}

{
  "exe": "component:strata-engine",
  "args": [
    ((省略))
  ],
  "cwd": "C:\\Users\\......\\AppData\\Local\\Programs\\Strata\\control",
  "tokenizer": "C:\\Users\\......\\Documents\\Strata\\packs\\iq3_xxs\\tokenizer",
  "model_name": "qwen3.8-flash-next-iq3_xxs",
  "log": "C:\\Users\\......\\AppData\\Local\\Strata\\install\\strata-iq3_xxs.log",
  "lib_dirs": [],
  "port": 8080,
  "gpu": 0,
  "gpus_asked": true,
  "vision": {
    ((省略))
  },
  "args_written": [
    ((省略))
  ],
  "vram_reserve_mib": 6512,
  "ui_reserve_applied": 6512,
  "env": {},
  "ui_resource_baseline": {
    ((省略))  },
  "ui_resource_profile": "work",
  "ui_vision_enabled": true,
  "ui_vision_device": "yes",
  "user_args": [
    "--control-vector-scaled",
    "C:\\Users\\......\\Documents\\Strata\\Models\\Control_Vector\\(コントロールベクトルのggufファイル):1.0",
    "--control-vector-layer-range",
    "4",
    "44",
    "--cvec-mode",
    "project",
    "--cvec-dir",
    "per-layer"
  ]
}

--control-vector-layer-rang, --cvec-mode, --cvec-dir の値

• control-vector-layer-rang, --cvec-mode, --cvec-dir の値はコントロールベクトルごとに異なります。
  

Qwen3.8-Flash-Next-experimental-speed-projection.gguf の場合

Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf の場合

Qwen3.8-Flash-Next-refusal-projection の場合

Qwen3.8-Flash-Next-refusal-additive の場合

モデルの再ロード

jsonファイルを変更後、再度モデルをロードしなおして利用します。

実際に効果があるのか？

体感でわかるほど効果は出ます。

著者

ジョニー

iPentecのプログラマー、最近はAIの積極的な活用にも取り組み中。
とっても恥ずかしがり。