【Stable Diffusion】AUTOMATIC1111のColab版でLoRAを使う方法について紹介!【maintained by Akaibu】

こんにちは!悠です!

 

今回は、前回書いた下記の記事の続きで、AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法についてまとめていきます。

【Stable Diffusion】2.5D調のAIコスプレイヤーを作成できる「FaceBombMix」の使い方!【maintained by Akaibu】
「Stable Diffusion」で、2.5D調のAIコスプレイヤーを作成できるモデル「FaceBombMix」の使い方について紹介した記事です。Google Colaboratoryで様々なモデルを使用できる「AUTOMATIC1111」の使い方もご紹介しています。

 

Loraって何?という方は下記の記事を参考にしてください。

【Stable Diffusion】KoreanDollLikeness(LoRA)の使い方。美しすぎるAIコスプレイヤーを召喚しよう!
「Stable Diffusion」で、Chilloutmixをもとにして修正した「KoreanDollLikeness」というLoRAモデルを使って、AIコスプレイヤーを生成してもらう方法について紹介した記事です。

 

スポンサーリンク
スポンサーリンク

今回使うモデルデータ

今回はモデルデータとして、AIコスプレイヤー風の2.5Dモデルを作成できる「KoreanStyle2.5D」を使用します。

KoreanStyle2.5D | Stable Diffusion Checkpoint | Civitai
Updated 2023/3/4 一款韩风的2.5D模型,能够在尽量保证画风足够真实、好看的同时又保留有足够的创造力。 English introduction is below. 推荐与以下几款Lora搭配使用: fashion_girls,ulzzang-6500-v1.1,chillou...

 

VAEには「vae-ft-mse-840000-ema-pruned」を使用します。

vae-ft-mse-840000-ema-pruned.ckpt · stabilityai/sd-vae-ft-mse-original at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

 

またLoRAには、毎度おなじみの「KoreanDollLikeness」と、

nolanaatama/kdllora at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

 

「童貞を殺すセーター」専用のLoRA「Virgin killer sweater」を導入していきます。

Virgin killer sweater | Stable Diffusion LORA | Civitai

 

ニッチな需要にも応えてくれるとは!神過ぎるw

 

Colab版「maintained by Akaibu」でLoRAを使う方法

基本的な流れは前回の記事と同じですので、今回は変更する部分を中心にさっくりとまとめていきます。

詳しく知りたい方は以前の記事を先に読んでください!

 

AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法は次の通りです。

 

まず自分のGoogle Driveに上の項目で保存した各ファイルをアップロードしましょう。フォルダ構成は下記を参考にしてください。

 

AUTOMATIC1111のGitHubページで「maintained by Akaibu」を起動します。

Online Services
Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.

 

「Adapted from~」の下のセルに下記のコードを入力します。

from google.colab import drive
drive.mount('/content/drive')

 

SD1.5のセルに「!mkdir /content/stable-diffusion-webui/models/Lora」を追加し、下3行をコメントアウトします。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd stable-diffusion-webui
!mkdir /content/stable-diffusion-webui/models/Lora
#@title SD1.5
# get a token from https://huggingface.co/settings/tokens
#user_token = "" #@param {type:"string"}
#user_header = f"\"Authorization: Bearer {user_token}\""
#!wget --header={user_header} https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.ckpt -O /content/stable-diffusion-webui/model.ckpt

 

SD1.5のセルの下枠に、下記のコードを入力します。

!cp /content/drive/MyDrive/StableDiffusion/Model/koreanstyle25D_koreanstyle25DBaked.safetensors /content/stable-diffusion-webui/models/Stable-diffusion/
!cp /content/drive/MyDrive/StableDiffusion/VAE/vae-ft-mse-840000-ema-pruned.ckpt /content/stable-diffusion-webui/models/VAE
!cp /content/drive/MyDrive/StableDiffusion/Lora/koreanDollLikeness_v15.safetensors /content/stable-diffusion-webui/models/Lora
!cp /content/drive/MyDrive/StableDiffusion/Lora/virginKillerSweater_v10.safetensors /content/stable-diffusion-webui/models/Lora

 

 

これで準備OKなので、上から順番に実行ボタンをクリックして「Stable Diffusion WebUI」を起動しましょう。

 

embeddingsを使いたい場合

EasyNegativeなどのembeddingsファイルを使いたい場合は、まずGoogleドライブのLoRAフォルダと同じ場所にembeddingsフォルダを作成し、使いたいデータをその中にアップロードしましょう。

 

その後、Colabのノートブック内にある、Googleドライブのデータを読み込むセル内に下記のように記述します。

!cp /content/drive/MyDrive/StableDiffusion/embeddings/EasyNegative.safetensors /content/stable-diffusion-webui/embeddings

 

embeddingsに関しては下記の記事で詳しくまとめています。

【Stable Diffusion】EasyNegativeの導入方法!embeddingsファイルの使い方を紹介!
「Stable Diffusion」で、より上質なAIイラストを作成する際に覚えておきたいembeddingsファイル(EasyNegative等)の使い方をまとめた記事です。

 

前回の設定を保存した状態で起動したい場合

上で紹介したやり方だと、「Stable Diffusion WebUI」を起動するたびに各種設定(Settingsタブの内容)がリセットされてしまうため、その都度設定し直す必要があります。

これはconfig.jsonを別途保存しておくことで対処可能です。

 

Google Colaboratoryで「Stable Diffusion WebUI」を起動し各種設定を行った後、左側にあるファイルタブから「config.json」を右クリックしてダウンロードしましょう。

 

これをGoogle Drive上にアップロードします。私の場合はsettingsというフォルダを作り、その中に保存してあります。

 

保存し終わったら、ノートブックのモデルやLoRAを読み込むセル内に、下記のコードを記入しましょう。

#UI設定データ
!cp /content/drive/MyDrive/StableDiffusion/settings/config.json /content/stable-diffusion-webui

 

 

WebUIのバージョンをダウングレードする方法

最新版の「Stable Diffusion WebUI(AUTOMATIC1111)」がバグで起動しなかったり、特定の拡張機能が使えない場合に、WebUIのバージョンをダウングレードする方法についてまとめた記事です。

【Stable Diffusion】Colab版WebUI(AUTOMATIC1111)をダウングレードする方法を紹介!
Google Colaboratory版の「AUTOMATIC1111」を、任意のバージョンにダウングレードする方法についてまとめた記事です。

 

今回使用したプロンプト

折角なので、アイキャッチ画像に使った下のイラストのプロンプトも紹介しておきます。

  • Clip skip : 2
  • ENSD : 31337
  • Sampling method : DPM++ SDE Karras
  • Upscaler : R-ESRGAN 4x+ Anime6B
  • Hires steps : 20
  • Denoising strength : 0.41 

 

 

【Positive】
masterpiece, photorealistic, best quality, ultra high res, upper body, close up of face shot, (medium breasts), blonde hair, very long hair, ((cleavage)), big blue eyes, cheerful expression, beautiful, cute, extremely detailed face, perfect lighting, posing, looking at viewers, 1girl, (virgin killer sweater), ((sideboob)), <lora:virginKillerSweater_v10:1>, dynamic angle, <lora:koreanDollLikeness_v15:0.3>
【Negative】
(worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,strange fingers,bad hand,watermark,nipples, ((nsfw,))



まとめ

以上が、AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法でした。

sd-1click-colab、maintained by Akaibu、ローカル環境の3つの方法を知っておけば、どんなモデルデータでも使うことができると思うので、ぜひ挑戦してみてくださいね!

では、ここまで読んでいただきありがとうございました。

コメント

  1. 癒し系女子発掘所 より:

    悠さんの記事がきっかけでAI生成はじめました!とても分かりやすく、ありがたいです。
    今はchilled_re-genericを自分でマージして使えるようになるほどになれましたが
    この記事の方法でLoraを読み込ませても、なぜか出てきません。
    Loraのタブそのものが出てこないんです。
    考えられる原因、対処法などありましたら、教えていただけると嬉しいです。
    ちなみに、フォルダの名前やアドレス等は何度も確認し、間違ってはいないと思うのですが・・
    今はノートPCのみでスペック不足なので、Google Colaboratory使うしかなく。
    chilled_re-genericだけでは、どうしてもKoreanDollLikenessやJapaneseDollLikenessの雰囲気が出せず、フリーの近そうなLoraを使いたくても使えず困ってます(;^_^A

    • 悠 より:

      コメントありがとうございます!嬉しいお言葉、励みになります!

      chilled_re-genericについて恥ずかしながら存じ上げてなかったので調べて見たんですが、簡単にいうと商用可能のchilloutmixみたいなものなんですね。色んなモデルをmixさせて作るのだとか。

      これ面白そうなので別の記事で近いうちにまとめたくなりましたw

      さて、loraに関する話ですが、chilled_re-genericをsafetensorsの形式でモデルデータとしてgoogle driveに保存されているんでしょうか?その上でakaibuのノートブックを使ってるなら、問題なくできるはずなんですよね。
      対処法として、

      1.mkdirの行を2つめのセルに挿入しているか確認。
      2.それ以外のモデルデータならloraを読み込めるのか確認(できなければgenericが原因)
      3.colabのノートブックで、セル内に何かエラーメッセージ表示されていないか確認(解決の手がかりに)

      このあたりをぜひ試して見てください。もしエラーメッセージがなにか表示されていたら、またコメントで教えていただければ解決法などを考えてみます!

      • 癒し系女子発掘所 より:

        早速のお返事、ありがとうございます!

        >1.mkdirの行を2つめのセルに挿入しているか確認。

        これが原因でした(;^_^A
        何度も読み返したのに、前記事の先入観からか、この作業の文章を認識できなかったようです。

        ただ問題はそれだけでなく、素人ならではのミスでしょうが
        前回のノートブックを再度回したためか、stable-diffusion-webuiのフォルダ内にstable-diffusion-webuiのフォルダがつくられるようになり、ソフトが認識できるのが最下層のフォルダ内のLoraなのに
        Loraファイルは最上層のフォルダに保存され、使えないという状況に・・
        はじめ訳が分からず何度も繰り返すうちに、入れ子状にstable-diffusion-webuiのフォルダが増えていき、そこで「もしや?」と、一度ノートブック全て削除して1からやりなおしたら、うまく行きました!

        おかげさまで、ジェネリック+Loraで、Chilloutmix+JapaneseDOLLに近い画像を生成できました!

        >chilloutmixみたいなものなんですね。色んなモデルをmixさせて作るのだとか。

        私の凡ミスのためにお手数おかけして申し訳なかったですが
        その代わりと言っては何ですが、情報提供できてよかったです(^^)
        既にご存じかも知れませんが、私は以下記事を参考にしてつくりました。

        https://note.com/ai_angel/n/na2d32701ef1c

        悠さんの記事とても読みやすく分かりやすいので、ジェネリックの記事、楽しみに待ってます♬

        なお、このコメントの投稿名でtwitterに画像公開してますので
        お暇なときにでも覗いていただけると嬉しいです。

        ありがとうございました!

        • 悠 より:

          おおお!おめでとうございます!!

          1番簡単な部分で良かったです!特殊なエラーだと面倒ですからね~。

          記事のurlありがとうございます!
          是非とも参考にさせてください!

          【追伸】Twitterの方確認させていただきます。楽しみ!(⌯’ᵕ’⌯)

  2. AI初心者 より:

    悠さんの記事を見つけてAIに挑戦しております!
    現在sd-1click-colabを使って作成しているのですが、これに他のLoraを追加して使う方法はあるのでしょうか?
    ご教授お願い致します。

  3. AI初心者 より:

    Loraでコメントしたものです。
    自己解決しましたのでスルーしてください。申し訳ありません。