こんにちは!悠です!
前回、ControlNetで複数のモデルを組み合わせて複雑な構図の画像を生成する「Multi ControlNet」の使い方を紹介いたしました。

ただMulti ControlNetを使うと、通常のControlNetよりも大量のVRAMを消費するという欠点があるため、私のようにGTX1660Ti(VRAM6GB)程度のGPUだと、CUDA out of memoryエラーが表示されてしまうんですね。
そこで今回は、低VRAMGPUでもMulti ControlNetを使うことができる「T2I-Adapter」を紹介していきます。
「T2I-Adapter」の導入方法
「T2I-Adapter」のモデルデータは、下記のHugging Faceのページからダウンロードできます。

自分の使いたいモデル(canny、depth、openposeなど)を選択してPCに保存しましょう。2つある場合は基本的にバージョンが新しい方を選んでください。
ダウンロードしたpthファイルは、ControlNetのモデルデータと同じ場所に配置しましょう。
~\webui\extensions\sd-webui-controlnet\models
「T2I-Adapter」の使い方
「T2I-Adapter」は、公式の「ControlNet」のモデルと全く同じ方法で使用することができます。
ControlNetの項目にあるModelの欄で、「T2I-Adapter~」を選択するだけです。
通常のControlNetのモデルデータと比べて圧倒的に消費VRAMが少なく、VRAM6GBでも3つのモデルを重ねることができます。
- T2I-Adapter_canny+T2I-Adapter_depth+T2I-Adapter_openpose:OK
- T2I-Adapter_canny+controlnet公式モデル:OK
また公式のモデルと比べても、生成結果にそれほど大きな差はないように思いました。

ただControlNet1.1で追加された新モデル(lineartなど)には非対応です!
まとめ
以上が、GTX1660Ti(VRAM6GB)等の低VRAMGPUでもMulti ControlNetを使うことができる「T2I-Adapter」の紹介でした。
ちなみにこの方法は下記のRedditの記事で発見しました。Redditって本当に色んな情報の宝庫ですよね…!
Multi Control Net Vram problem
by u/witcherknight in StableDiffusion
では、ここまで読んでいただきありがとうございました。
コメント