【Stable Diffusion】「T2I-Adapter」を使って低VRAMGPU（VRAM6GB）でもMulti ControlNetを使う方法！

こんにちは！悠です！

前回、ControlNetで複数のモデルを組み合わせて複雑な構図の画像を生成する「Multi ControlNet」の使い方を紹介いたしました。

【Stable Diffusion】Multi ControlNetを使って複数のモデルを組み合わせ、複雑な画像の構図を制御するやり方！

「Stable Diffusion」の拡張機能「ControlNet」で、一度に複数のモデルを組み合わせることができる「Multi ControlNet」の使い方について紹介した記事です。

yuuyuublog.org

ただMulti ControlNetを使うと、通常のControlNetよりも大量のVRAMを消費するという欠点があるため、私のようにGTX1660Ti（VRAM6GB）程度のGPUだと、CUDA out of memoryエラーが表示されてしまうんですね。

そこで今回は、低VRAMGPUでもMulti ControlNetを使うことができる「T2I-Adapter」を紹介していきます。

「T2I-Adapter」の導入方法

「T2I-Adapter」のモデルデータは、下記のHugging Faceのページからダウンロードできます。

TencentARC/T2I-Adapter at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

自分の使いたいモデル（canny、depth、openposeなど）を選択してPCに保存しましょう。2つある場合は基本的にバージョンが新しい方を選んでください。

ダウンロードしたpthファイルは、ControlNetのモデルデータと同じ場所に配置しましょう。

～\webui\extensions\sd-webui-controlnet\models

「T2I-Adapter」の使い方

「T2I-Adapter」は、公式の「ControlNet」のモデルと全く同じ方法で使用することができます。

ControlNetの項目にあるModelの欄で、「T2I-Adapter～」を選択するだけです。

通常のControlNetのモデルデータと比べて圧倒的に消費VRAMが少なく、VRAM6GBでも3つのモデルを重ねることができます。

また公式のモデルと比べても、生成結果にそれほど大きな差はないように思いました。

ただControlNet1.1で追加された新モデル（lineartなど）には非対応です！

まとめ

以上が、GTX1660Ti（VRAM6GB）等の低VRAMGPUでもMulti ControlNetを使うことができる「T2I-Adapter」の紹介でした。

ちなみにこの方法は下記のRedditの記事で発見しました。Redditって本当に色んな情報の宝庫ですよね…！

Multi Control Net Vram problem
by u/witcherknight in StableDiffusion

では、ここまで読んでいただきありがとうございました。