【Stable Diffusion】LoRAを使う際に階層ごとに強さを設定できる拡張機能「LoRA Block Weight」の使い方を紹介！

こんにちは！悠です！

 

「Stable Diffusion」で使える色んなLoRAを探していると、たまに次のような表記を見かけることがありませんか？

<lora:loraの名前:0.8:1,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0>

 

これはLoRAを適用する際に、作用する階層ごとの強さを設定する書き方で、拡張機能「LoRA Block Weight」を導入することで使えるようになります。

今回はその使い方について詳しく紹介していきます！

 

アイキャッチ画像は「Chilled Remix」で生成しています。
スポンサーリンク
スポンサーリンク

「LoRA Block Weight」とは？

普通に使っていると気にならないんですが、実はLoRAは17個の階層に分かれており、生成するAIイラストに対して各階層ごとに違った影響を及ぼします。

<lora:loraの名前:0.8:1,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0>

 

上の青い17個の数字は、各階層ごとに作用する比重を設定した表記になります。

ちなみにLoHAやLoCon（LyCORIS）は26層に分かれているそうです。

 

この各層ごとの強さを個別に設定した表記を、WebUIで使えるようにする拡張機能が「LoRA Block Weight」です。

GitHub - hako-mikan/sd-webui-lora-block-weight
Contribute to hako-mikan/sd-webui-lora-block-weight development by creating an account on GitHub.
github.com

 

各階層ごとにどんな影響があるのかは明確に判明しておらず、LoRAの種類によっても変わってくるようですが、前の方の階層はキャラの顔に作用しやすかったり、後ろの方はポーズや構図に作用しやすかったりと法則があるようです。

LoRAの各層による影響の情報は非常に少なく、下記のツイートで紹介されている4chan由来の画像や、

 

下記のRedditのスレッドや

Block weights: Give LoRA a second breath
by u/ruSauron in StableDiffusion

 

下記の記事が参考になりそうです。

LoRA-Block-Weight 層別メモ
LoRA-Block-Weight 層別メモなにこれ層の情報LoRALyCORIS（LoCon等）LyCORIS/LoCon用カスタムプリセット　使い方LyCORIS/LoCon用カスタムプリセット基本形　特定層のみ無効化LyCORIS/LoCon用カスタムプリセット　LoRA版をもとに適当に設定したやつ適用サンプルと...
rentry.co

 

「LoRA Block Weight」の導入方法

 

Google Colaboratory版の場合

下記の方法で紹介している「maintained by Akaibu」のノートブックを使って、拡張機能「LoRA Block Weight」を導入していきます。

まだご覧になっていない方は、まず最初にこちらを準備しておいてください。

【Stable Diffusion】AUTOMATIC1111のWebUIをGoogle Colaboratory上で使う方法！【maintained by Akaibu】
「Stable Diffusion」で、「AUTOMATIC1111」が用意しているノートブック「maintained by Akaibu」を使って、Google Colaboratory上で自分の好きなモデルデータやLoRAを使用する方法についてまとめた記事です。
yuuyuublog.org
【Stable Diffusion】AUTOMATIC1111のColab版でLoRAを使う方法について紹介！【maintained by Akaibu】
AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法についてまとめた記事です。2.5D風AIコスプレイヤーを作成できる「KoreanStyle2.5D」も紹介しています。
yuuyuublog.org

 

Google Driveからモデルデータを読み込むセルの下に新しくセルを作成し、下記のコードを入力してください。

#LoRA Block Weightをインストール
%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/hako-mikan/sd-webui-lora-block-weight /content/stable-diffusion-webui/extensions/sd-webui-lora-block-weight

%cd /content/stable-diffusion-webui

 

WebUIを起動し、txt2imgタブにLora Block Weightの欄が追加されていれば導入成功です。

 

ローカル版の場合

「Extensions」→「Install from URL」の「URL for extension’s git repository」に下記のURLを入力しInstallをクリックしましょう。

https://github.com/hako-mikan/sd-webui-lora-block-weight

 

 

「LoRA Block Weight」の使い方

わかりやすいように例として、「M_Pixel 像素人人」という画像をピクセルアート化するLoRA（Civitaiでダウンロードできます）を使って説明していきます。

なお、モデルデータには「AbyssOrangeMix3」を使用しています。

こういうのが作れます！

 

これもかわいい！

 

「LoRA Block Weight」のActiveにチェックを入れるだけで、txt2imgタブでLoRAの階層表記が使用できるようになります。

 

階層表記の使い方ですが、例えばすべての階層で1を使用する場合は次のようになります。

通常のLoRAの比重の後に、階層ごとの比重を設定する感じですね。

半角スペースなどを挿入したり、数字が17個より少ないと使えないので注意してください。

<lora:mPixel_v10PixelArt:0.5:1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1>

 

また、あらかじめプリセットとして登録してあるWeights settingの比重を使いたい場合は、次のように表記します。

<lora:mPixel_v10PixelArt:0.5:MIDD>

 

X/Y/Z plotを使って各階層の効き方を調べる

X/Y/Z plotを使って、LoRAの各階層ごとの効き目をチェックする方法もあります。XYZ plotに関しては下記の記事で紹介しているので、参考にしてください。

【Stable Diffusion】X/Y/Z plotを使ってサンプラーやプロンプトによる差を比較・検証する方法！
「Stable Diffusion WebUI」で、変数比較機能「X/Y/Z plot」を使ってモデルに応じた最適なサンプラーやプロンプトを簡単に調べる方法についてまとめた記事です。
yuuyuublog.org

 

「LoRA Block Weight」で使う場合は、通常のX/Y/Z plotと違ってScriptsを使用しないので注意しましょう。

 

まず、プロンプト内のLoRAに次のようにXYZを付けます。

<lora:mPixel_v10PixelArt:0.5:XYZ>

 

「LoRA Block Weight」の中にあるXYZ plotのタブを開き、ActiveをXYZ plotに設定します。

X typesにOriginal Weightsを選択し、X valuesに「NONE,ALL,INS,IND,INALL,MIDD,OUTD,OUTS,OUTALL,ALL0.5」と入れてGenerateボタンを押すと、

 

下記のようにあらかじめ設定してある階層比重を使った表が生成されます。

 

これを見ると、このピクセルアートLoRAは、OUTALLのように後半の階層が生成画像に大きく影響を与えていそうだと推測できますね！



「a1111-sd-webui-lycoris」で使用する場合

「a1111-sd-webui-lycoris」（下記）を導入済みで、<lyco:lora_name:1.0>の形式を使っている場合は注意が必要です。

【Stable Diffusion】全種類のLyCORISを導入できるようになる拡張機能「a1111-sd-webui-lycoris」の紹介！
「Stable Diffusion WebUI」で、DyLoRAを含む全種類のLyCORISを導入することができるようになる拡張機能「a1111-sd-webui-lycoris」の使い方についてまとめた記事です。
yuuyuublog.org

 

<lyco:lora_name:1.0>の形式で層別適用を使用するには、下記のように記入する必要があります。

 

【DyLoRAではない場合】

<lyco:lora_name:1.0:lbw=MIDD>

 

DyLoRAの場合はUnet weightとDyLoRA Dimを設定する必要があるそうですが、DyLoRAが現在全く流通していないので試せません。

もし運よく入手することができたら実際に試して紹介いたします。

 

まとめ

以上が「Stable Diffusion」で、LoRAを適用する際に作用する階層ごとの強さを設定できる拡張機能「LoRA Block Weight」の使い方でした。

これを上手く活用することで、今まで使っていたLoRAの効果を向上させることができるかもしれませんので、ぜひ皆さんも試してみてくださいね！

 

では、ここまで読んでいただきありがとうございました。

コメント