こんにちは！悠です！
今回は、前回書いた下記の記事の続きで、AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法についてまとめていきます。
Loraって何？という方は下記の記事を参考にしてください。
今回使うモデルデータ
今回はモデルデータとして、AIコスプレイヤー風の2.5Dモデルを作成できる「KoreanStyle2.5D」を使用します。
VAEには「vae-ft-mse-840000-ema-pruned」を使用します。
またLoRAには、毎度おなじみの「KoreanDollLikeness」と、
「童貞を殺すセーター」専用のLoRA「Virgin killer sweater」を導入していきます。
ニッチな需要にも応えてくれるとは！神過ぎるw
Colab版「maintained by Akaibu」でLoRAを使う方法
基本的な流れは前回の記事と同じですので、今回は変更する部分を中心にさっくりとまとめていきます。
詳しく知りたい方は以前の記事を先に読んでください！
AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法は次の通りです。
まず自分のGoogle Driveに上の項目で保存した各ファイルをアップロードしましょう。フォルダ構成は下記を参考にしてください。
AUTOMATIC1111のGitHubページで「maintained by Akaibu」を起動します。
「Adapted from～」の下のセルに下記のコードを入力します。
from google.colab import drive
drive.mount('/content/drive')
SD1.5のセルに「!mkdir /content/stable-diffusion-webui/models/Lora」を追加し、下3行をコメントアウトします。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd stable-diffusion-webui
!mkdir /content/stable-diffusion-webui/models/Lora
#@title SD1.5
# get a token from https://huggingface.co/settings/tokens
#user_token = "" #@param {type:"string"}
#user_header = f"\"Authorization: Bearer {user_token}\""
#!wget --header={user_header} https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.ckpt -O /content/stable-diffusion-webui/model.ckpt
SD1.5のセルの下枠に、下記のコードを入力します。
!cp /content/drive/MyDrive/StableDiffusion/Model/koreanstyle25D_koreanstyle25DBaked.safetensors /content/stable-diffusion-webui/models/Stable-diffusion/ !cp /content/drive/MyDrive/StableDiffusion/VAE/vae-ft-mse-840000-ema-pruned.ckpt /content/stable-diffusion-webui/models/VAE !cp /content/drive/MyDrive/StableDiffusion/Lora/koreanDollLikeness_v15.safetensors /content/stable-diffusion-webui/models/Lora !cp /content/drive/MyDrive/StableDiffusion/Lora/virginKillerSweater_v10.safetensors /content/stable-diffusion-webui/models/Lora
これで準備OKなので、上から順番に実行ボタンをクリックして「Stable Diffusion WebUI」を起動しましょう。
embeddingsを使いたい場合
EasyNegativeなどのembeddingsファイルを使いたい場合は、まずGoogleドライブのLoRAフォルダと同じ場所にembeddingsフォルダを作成し、使いたいデータをその中にアップロードしましょう。
その後、Colabのノートブック内にある、Googleドライブのデータを読み込むセル内に下記のように記述します。
!cp /content/drive/MyDrive/StableDiffusion/embeddings/EasyNegative.safetensors /content/stable-diffusion-webui/embeddings
embeddingsに関しては下記の記事で詳しくまとめています。
前回の設定を保存した状態で起動したい場合
上で紹介したやり方だと、「Stable Diffusion WebUI」を起動するたびに各種設定（Settingsタブの内容）がリセットされてしまうため、その都度設定し直す必要があります。
これはconfig.jsonを別途保存しておくことで対処可能です。
Google Colaboratoryで「Stable Diffusion WebUI」を起動し各種設定を行った後、左側にあるファイルタブから「config.json」を右クリックしてダウンロードしましょう。
これをGoogle Drive上にアップロードします。私の場合はsettingsというフォルダを作り、その中に保存してあります。
保存し終わったら、ノートブックのモデルやLoRAを読み込むセル内に、下記のコードを記入しましょう。
#UI設定データ !cp /content/drive/MyDrive/StableDiffusion/settings/config.json /content/stable-diffusion-webui
WebUIのバージョンをダウングレードする方法
最新版の「Stable Diffusion WebUI（AUTOMATIC1111）」がバグで起動しなかったり、特定の拡張機能が使えない場合に、WebUIのバージョンをダウングレードする方法についてまとめた記事です。
今回使用したプロンプト
折角なので、アイキャッチ画像に使った下のイラストのプロンプトも紹介しておきます。
- Clip skip : 2
- ENSD : 31337
- Sampling method : DPM++ SDE Karras
- Upscaler : R-ESRGAN 4x+ Anime6B
- Hires steps : 20
- Denoising strength : 0.41
masterpiece, photorealistic, best quality, ultra high res, upper body, close up of face shot, (medium breasts), blonde hair, very long hair, ((cleavage)), big blue eyes, cheerful expression, beautiful, cute, extremely detailed face, perfect lighting, posing, looking at viewers, 1girl, (virgin killer sweater), ((sideboob)), <lora:virginKillerSweater_v10:1>, dynamic angle, <lora:koreanDollLikeness_v15:0.3>
(worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,strange fingers,bad hand,watermark,nipples, ((nsfw,))
まとめ
以上が、AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法でした。
sd-1click-colab、maintained by Akaibu、ローカル環境の3つの方法を知っておけば、どんなモデルデータでも使うことができると思うので、ぜひ挑戦してみてくださいね！
では、ここまで読んでいただきありがとうございました。
コメント
悠さんの記事がきっかけでAI生成はじめました！とても分かりやすく、ありがたいです。
今はchilled_re-genericを自分でマージして使えるようになるほどになれましたが
この記事の方法でLoraを読み込ませても、なぜか出てきません。
Loraのタブそのものが出てこないんです。
考えられる原因、対処法などありましたら、教えていただけると嬉しいです。
ちなみに、フォルダの名前やアドレス等は何度も確認し、間違ってはいないと思うのですが・・
今はノートPCのみでスペック不足なので、Google Colaboratory使うしかなく。
chilled_re-genericだけでは、どうしてもKoreanDollLikenessやJapaneseDollLikenessの雰囲気が出せず、フリーの近そうなLoraを使いたくても使えず困ってます(;^_^A
コメントありがとうございます!嬉しいお言葉、励みになります!
chilled_re-genericについて恥ずかしながら存じ上げてなかったので調べて見たんですが、簡単にいうと商用可能のchilloutmixみたいなものなんですね。色んなモデルをmixさせて作るのだとか。
これ面白そうなので別の記事で近いうちにまとめたくなりましたw
さて、loraに関する話ですが、chilled_re-genericをsafetensorsの形式でモデルデータとしてgoogle driveに保存されているんでしょうか?その上でakaibuのノートブックを使ってるなら、問題なくできるはずなんですよね。
対処法として、
1.mkdirの行を2つめのセルに挿入しているか確認。
2.それ以外のモデルデータならloraを読み込めるのか確認(できなければgenericが原因)
3.colabのノートブックで、セル内に何かエラーメッセージ表示されていないか確認(解決の手がかりに)
このあたりをぜひ試して見てください。もしエラーメッセージがなにか表示されていたら、またコメントで教えていただければ解決法などを考えてみます!
早速のお返事、ありがとうございます！
＞1.mkdirの行を2つめのセルに挿入しているか確認。
これが原因でした(;^_^A
何度も読み返したのに、前記事の先入観からか、この作業の文章を認識できなかったようです。
ただ問題はそれだけでなく、素人ならではのミスでしょうが
前回のノートブックを再度回したためか、stable-diffusion-webuiのフォルダ内にstable-diffusion-webuiのフォルダがつくられるようになり、ソフトが認識できるのが最下層のフォルダ内のLoraなのに
Loraファイルは最上層のフォルダに保存され、使えないという状況に・・
はじめ訳が分からず何度も繰り返すうちに、入れ子状にstable-diffusion-webuiのフォルダが増えていき、そこで「もしや？」と、一度ノートブック全て削除して1からやりなおしたら、うまく行きました！
おかげさまで、ジェネリック+Loraで、Chilloutmix+JapaneseDOLLに近い画像を生成できました！
＞chilloutmixみたいなものなんですね。色んなモデルをmixさせて作るのだとか。
私の凡ミスのためにお手数おかけして申し訳なかったですが
その代わりと言っては何ですが、情報提供できてよかったです（＾＾）
既にご存じかも知れませんが、私は以下記事を参考にしてつくりました。
https://note.com/ai_angel/n/na2d32701ef1c
悠さんの記事とても読みやすく分かりやすいので、ジェネリックの記事、楽しみに待ってます♬
なお、このコメントの投稿名でtwitterに画像公開してますので
お暇なときにでも覗いていただけると嬉しいです。
ありがとうございました！
おおお!おめでとうございます!!
1番簡単な部分で良かったです!特殊なエラーだと面倒ですからね～。
記事のurlありがとうございます!
是非とも参考にさせてください!
【追伸】Twitterの方確認させていただきます。楽しみ!(⌯’ᵕ’⌯)
悠さんの記事を見つけてAIに挑戦しております！
現在sd-1click-colabを使って作成しているのですが、これに他のLoraを追加して使う方法はあるのでしょうか？
ご教授お願い致します。
Loraでコメントしたものです。
自己解決しましたのでスルーしてください。申し訳ありません。
コメントありがとうございます！
いえいえ、解決できて何よりです！