【Stable Diffusion】「T2I-Adapter」を使って低VRAMGPU(VRAM6GB)でもMulti ControlNetを使う方法!

こんにちは!悠です!

 

前回、ControlNetで複数のモデルを組み合わせて複雑な構図の画像を生成する「Multi ControlNet」の使い方を紹介いたしました。

【Stable Diffusion】Multi ControlNetを使って複数のモデルを組み合わせ、複雑な画像の構図を制御するやり方!
「Stable Diffusion」の拡張機能「ControlNet」で、一度に複数のモデルを組み合わせることができる「Multi ControlNet」の使い方について紹介した記事です。

 

ただMulti ControlNetを使うと、通常のControlNetよりも大量のVRAMを消費するという欠点があるため、私のようにGTX1660Ti(VRAM6GB)程度のGPUだと、CUDA out of memoryエラーが表示されてしまうんですね。

そこで今回は、低VRAMGPUでもMulti ControlNetを使うことができる「T2I-Adapter」を紹介していきます。

 

アイキャッチ画像は「AbyssHellVer3」で生成しています!
スポンサーリンク
スポンサーリンク

「T2I-Adapter」の導入方法

「T2I-Adapter」のモデルデータは、下記のHugging Faceのページからダウンロードできます。

TencentARC/T2I-Adapter at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

 

自分の使いたいモデル(canny、depth、openposeなど)を選択してPCに保存しましょう。2つある場合は基本的にバージョンが新しい方を選んでください。

 

ダウンロードしたpthファイルは、ControlNetのモデルデータと同じ場所に配置しましょう。

~\webui\extensions\sd-webui-controlnet\models

 

「T2I-Adapter」の使い方

「T2I-Adapter」は、公式の「ControlNet」のモデルと全く同じ方法で使用することができます。

ControlNetの項目にあるModelの欄で、「T2I-Adapter~」を選択するだけです。

 

通常のControlNetのモデルデータと比べて圧倒的に消費VRAMが少なく、VRAM6GBでも3つのモデルを重ねることができます。

  • T2I-Adapter_cannyT2I-Adapter_depthT2I-Adapter_openpose:OK
  • T2I-Adapter_cannycontrolnet公式モデル:OK

 

また公式のモデルと比べても、生成結果にそれほど大きな差はないように思いました。

ただControlNet1.1で追加された新モデル(lineartなど)には非対応です!

 

まとめ

以上が、GTX1660Ti(VRAM6GB)等の低VRAMGPUでもMulti ControlNetを使うことができる「T2I-Adapter」の紹介でした。

ちなみにこの方法は下記のRedditの記事で発見しました。Redditって本当に色んな情報の宝庫ですよね…!

Multi Control Net Vram problem
by u/witcherknight in StableDiffusion

 

では、ここまで読んでいただきありがとうございました。

コメント