【Stable Diffusion】LoRAとは何なのか?導入方法や使い方をわかりやすく紹介!【KoreanDollLikeness】

こんにちは!悠です!

 

以前、ChilloutMixというモデルを使ってAIコスプレイヤーの画像を生成するやり方をご紹介いたしました。

【2023年】美少女AIコスプレイヤーをStable Diffusionで生成する方法についてまとめていく!【ChilloutMix】
「Stable Diffusion」を使って、話題のAIコスプレイヤー風の画像を作成する方法についてまとめた記事です。実行にはGoogle Colaboratoryを使用するため、PCのスペックに関係なく試すことができますよ!

 

今回はその発展形で、ChilloutMixをもとにして追加学習した「KoreanDollLikeness」というLoRAを使って、美しすぎるAIコスプレイヤーを生成してもらう方法を紹介していきます。

モデルとLoRAを組み合わせることで、この世に存在するありとあらゆるシチュエーションの画像を生成できるようになりますよ!

 

アイキャッチ画像はモデルに「Chilled Remix」、LoRAに「KoreanDollLikeness」を使用しています!
スポンサーリンク
スポンサーリンク

LoRAとは?

まずは、LoRA(Low-Rank Adaption)について、わかりやすく説明していきます。

 

LoRAを一言で簡単に説明するなら、モデルデータだけでは再現できないキャラクターや構図、シチュエーションや背景を簡単に再現する技術のことです。

具体例を挙げますと、例えば皆さんご存知の初音ミクの画像を生成する場合、プロンプトに「hatsune miku」と入れるだけである程度の効果(ツインテールや青髪の画像を生成する効果)があります。

 

これは彼女が非常に有名なキャラクターであり、モデルデータ自体の中に学習素材として含まれているためプロンプトで反映できるわけです。

しかし、例えば「ファイナルファンタジー10のワッカ」「ドラゴンクエスト6のダークドレアム」のように、特定のコンテンツだけに登場するキャラクターになってくると、モデルデータの中に学習素材がないため、プロンプトだけで反映するのは非常に難しくなってきます。

 

そこで「再現したいキャラクター」の画像を複数枚集め、使用したいモデルデータに対して追加で情報を与えて学習させることで、プロンプト1つでその特徴を簡単に呼び出せるようにしたもがLoRAです。

上の例で言えば、「ファイナルファンタジー10のワッカ」の画像を100枚集めてモデルに追加学習させ、その情報を「wakka」というプロンプトに集約させることで、「wakka」と入力するだけでキャラの特徴を再現できるようになるんですね。

 

これはほんの一例で、LoRAはありとあらゆるバリエーションに対応しています。

  • 特定の漫画やアニメ、ゲームのキャラクターを再現するもの
  • 特定の背景を再現するもの(都会、田舎、廃墟、温泉、ファンタジー世界など)
  • 特定の表情や構図を再現するもの(POV視点、ダブルピース、笑顔、泣き顔など)
  • 特定の画風を再現するもの

 

今回紹介する「KoreanDollLikeness」は、前回紹介したChilloutMixを元にして作られた「韓国風の美人・美少女」を再現するLoRAです。

 

LoRAの使い方

「Stable Diffusion WebUI」を使っている場合、Generateボタンの下にある花札マーク(🎴)をクリックして、導入したLoRAを選択することで使うことができます。

※花札マークの正式名称は、Show extra Networksです。

 

該当のLoRAをクリックすると、プロンプト内に下のような表記が現れます。

<lora:lora_name:1>

 

この数字の部分がLoRAの比重で、数値を大きくするほど生成されるAIイラストに反映されるLoRAの影響が大きくなります。

1以上にするとイラストが崩壊してしまうため、基本的には0.20.8あたりの数値を設定することが多いです。

 

また、LoRAを使う際には特定のプロンプトと組み合わせて使用することで、より強く効果を発揮する場合があります。このようなプロンプトのことをトリガーワードと呼びます。

トリガーワードは基本的に、LoRAをダウンロードするページの概要欄に記載されていることが多いです。

 

ちなみにLoRAは複数混ぜて使うこともできます。

<lora:koreanDollLikeness_v15:0.3> ,<lora:japaneseDollLikeness_v10:0.3>

 

「KoreanDollLikeness」の導入方法

 

「Sd-1click-colab」の場合

今回もGoogle Colaboratoryを使用するので、PCのスペックに関係なくイラスト生成を行うことができます。

 

まず、下記URLからGoogle Colaboratoryにアクセスし、アップロードのタブを選択します。

Google Colaboratory

 

 

次に下記GitHubから「koreandolllikeness_LoRA.ipynb」をダウンロードします。

GitHub - nolanaatama/sd-1click-colab
Contribute to nolanaatama/sd-1click-colab development by creating an account on GitHub.

 

緑色のCode → Download ZIPと選択し、PCに保存後解凍してください。

 

解凍したフォルダの中にある「koreandolllikeness_LoRA.ipynb」を、Google Colaboratoryのアップロードの中にドラッグアンドドロップします。

 

下記のような画面が開くので、まずは「1:Setup the web ui」の欄にある実行ボタンをクリックします。

 

処理が終わるまで(URLが2つ現れるまで)待った後、もう一度「1:Setup the web ui」の欄にある実行ボタンをクリックして処理を停止させます。

その後実行ボタンを右クリックして、「出力を消去」を選択します。

 

最後に、「3:Load the LoRA & launch the web ui」の欄にある実行ボタンをクリックしましょう。

 

処理が終わるまで待ち、表示されるpublic URLをクリックしましょう。

 

これでStable Diffusionが起動します。

 

「Stable Diffusion」起動後、Generateボタンの下にある花札マークをクリックし、LoRAのタブで「KoreanDollLikeness」を選択しましょう。

 

「maintained by Akaibu」の場合

「Sd-1click-colab」で使用できないモデルデータを使える「maintained by Akaibu」のノートブックの場合は、下記の記事の方法でLoRAを使用することができます。

【Stable Diffusion】AUTOMATIC1111のWebUIをGoogle Colaboratory上で使う方法!【maintained by Akaibu】
「Stable Diffusion」で、「AUTOMATIC1111」が用意しているノートブック「maintained by Akaibu」を使って、Google Colaboratory上で自分の好きなモデルデータやLoRAを使用する方法についてまとめた記事です。
【Stable Diffusion】AUTOMATIC1111のColab版でLoRAを使う方法について紹介!【maintained by Akaibu】
AUTOMATIC1111のColab版「maintained by Akaibu」でLoRAを使う方法についてまとめた記事です。2.5D風AIコスプレイヤーを作成できる「KoreanStyle2.5D」も紹介しています。

 

ローカル版の場合

ローカル環境を構築してLoRAを使用するやり方は、下記の記事で紹介しています。

【2023年】「Stable Diffusion WebUI」をローカル環境に構築するやり方!低スぺックPC(1660Ti)でもOK!
「Stable Diffusion WebUI」をローカル環境に構築する方法について、できる限り詳しく紹介した記事です。Google Colabratoryのように一日の使用制限がないため、一度環境を構築してしまえば快適に遊べますよ!

 

「KoreanDollLikeness」の参考画像(プロンプトあり)

私が「KoreanDollLikeness」で生成した画像とプロンプトを紹介します。

 

画像サイズについては、縦長の画像を生成したい場合は512×768、横長の画像を作成したい場合は768×512がおすすめです。

  • Steps: 20
  • Sampler: DPM++ 2M Karras
  • CFG scale: 7
  • Model: chilloutmix_NiPrunedFp32Fix
  • Clip skip: 2
  • ENSD: 31337

 

プロンプト【その1】

 

 

【Positive】
masterpiece, best quality, highres, (photo realistic:1.4),1girl, solo, medium breasts, full body, big blue eyes, ((silver hair)), white dress with a lot of frill, cute, young, posing, very long hair, flower, headband, looking at viewers, rain, wet, professional lighting, <lora:koreanDollLikeness_v15:0.3>
【Negative】
painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, normal quality,((monochrome)),((greyscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat

 

プロンプト【その2】

 

 

【Positive】
masterpiece, best quality, highres, (photo realistic:1.4),1girl, solo, medium breasts, portrait, (sitting), big blue eyes, blonde hair, school uniform, cute, young, very long hair, hair ornament, professional lighting, (18 years old), indoors, chair,<lora:koreanDollLikeness_v15:0.3>
【Negative】
painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, normal quality,((monochrome)),((greyscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat

 

プロンプト【その3】

 

 

【Positive】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,full body,medium breasts,detailed beautiful face,big blue eyes,blue hair, hatsune_miku, ribbon, detailed clothes, maid costume, wet, beautiful sky, beach, cute,young,posing,very long hair, looking at viewers, professional lighting, physically-based rendering,depth of field,<lora:koreanDollLikeness_v10:0.4>
【Negative】
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat,missing fingers, extra fingers, extra arms,extra legs, open chest



LoRAをダウンロードできるサイト

LoRAもモデルデータと同じく、基本的にCivitaiまたはHugging Faceでダウンロードできます。

ただLoRAは個人でも自作することができるので、TwitterやDiscordなどのSNSや、海外の個人サイト・ブログなどでも入手できたりします。

 

ローカル版の場合、入手したLoRAは下記のフォルダ内に保存して使いましょう(前半のパスは個人の環境によって異なります。)

C:\Users\name\Desktop\Stable_Diffusion\webui\models\Lora

 

「KoreanDollLikeness」のダウンロード方法

下記のリンク先から「KoreanDollLikeness」のモデルデータをダウンロードできます。

nolanaatama/kdllora at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Kanbara/doll-likeness-series at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

 

またCivitaiの方では、KoreanDollLikenessのv20が配布されていました。

 

「LyCORIS」について

新たな学習アルゴリズムを用いて作成されたLoRAの亜種「LyCORIS」の使い方に関しては、下記の記事でまとめています。

【Stable Diffusion】LyCORIS(LoHa・LoCon)をWebUIで使用する方法を紹介!【LoRA亜種】
「Stable Diffusion」で使用できるLoRAの亜種、「LyCORIS(LoHa・LoCon)」をWebUIで使う方法についてまとめた記事です。

 

階層LoRAの使い方に関して

LoRAが作用する階層ごとに、細かく数値を設定して使用するやり方に関しては下の記事で紹介しています。

「階層って何?」という方もぜひご覧ください。

【Stable Diffusion】LoRAを使う際に階層ごとに強さを設定できる拡張機能「LoRA Block Weight」の使い方を紹介!
「Stable Diffusion」で、LoRAを適用する際に作用する階層ごとの強さを設定できる拡張機能「LoRA Block Weight」の使い方について紹介した記事です。

 

自分でLoRAを作成する方法

余りにマイナー過ぎるキャラで、CivitaiやHugging Faceに専用のLoRAがない場合に、自分で素材画像を用意してLoRAを自作できる拡張機能について下の記事でまとめています。

【Stable Diffusion】超簡単にLoRAを自作できる拡張機能「sd-webui-train-tools」の使い方!
「Stable Diffusion」で、自分の好きなように学習させたLoRAをWebUI上で生成できる拡張機能「sd-webui-train-tools」の使い方についてまとめた記事です。

 

その他LoRAに関する記事

【Stable Diffusion】目や瞳専用のLoRAの使い方!Inpaintと組み合わせて再現率を向上させよう!
「Stable Diffusion」で、目や瞳に作用するLoRAとInpaintを組み合わせることで、再現率を格段に向上させるやり方を紹介した記事です。
【Stable Diffusion】AIイラストに精緻なディテールを追加できるLoRA「add_detail」の紹介!
「Stable Diffusion」で、適用するだけで簡単に出力画像のディテールを追加できるLoRA「add_detail」について紹介した記事です。
【flat2】マイナス適用で精緻なディテールを追加できる汎用性最強のLoRA!【Stable Diffusion】
マイナス適用するだけで生成される画像に精緻なディテールを追加できる、Civitaiの中で間違いなく一番おすすめな汎用性最強のLoRA「flat2」に関してまとめた記事です。
【Stable Diffusion】画像の明るさを手軽に調節できるLoRA「Lit」の紹介!【明度】
プラス適用することで構図に大きな影響を与えることなく、画像の明るさだけを上げることができるLoRA「Lit」について紹介した記事です。
【EnvyBetterHands】構図に影響を与えず手だけを補正してくれるLoConの紹介!【Stable Diffusion】
「Stable Diffusion」で構図にほぼ影響を与えることなく、AIイラストの手だけを補正してくれるLoCon「EnvyBetterHands」について紹介した記事です。

 

まとめ

以上が「Stable Diffusion」で、特定のキャラクターをいとも簡単に再現できるLoRAの説明と、ChilloutMixを元に追加学習した「KoreanDollLikeness」というLoRAの紹介でした。

LoRAを使うことで、生成できるAIイラストの幅が無限大になりますので、ぜひ皆さんも試してみてくださいね!

 

では、ここまで読んでいただきありがとうございました。

コメント

  1. お絵描き屋 より:

    先ほどは回答ありがとうございました(別記事での話ですが)

    LoRAについてもまたお聞きしたいのですが、LoRAは同じキャラクターの衣装やポージングを変えることができるやり方だと思っているのですが、
    配布されたものだと自分の生成したキャラクターと同じ(ような)顔にはできないということでしょうか?
    自分で生成したキャラクターの別バージョンを作りたければ自分でLoRAファイルを作る必要があるという理解であってますか?

    • 悠 より:

      コメントありがとうございます!

      「自分の生成したキャラクター」というのは、何かのモデルデータを使って作成したAIイラスト(仮にイラストAとします)をもとに、イラストAのキャラの顔の造形は同じままで、服装や構図、背景などを微妙に変えて別のイラストを作成したいということでしょうか?

      全く同じ画像でいいのなら同一Seed値を使えばいいだけですが、そうではありませんよね?

      そういった目的の場合は、同一Seed値と同一プロンプトを使って、Variation strengthを変えてみるのをおすすめします。
      https://yuuyuublog.org/variationstrength/

      元のイラストの要素をそれほど変えることなく、新たなイラストを作成してくれます。

      そのほかに、何か特定の衣装に変更したい場合は、それ専用に学習されたLoRAを探して使うとかですかね。

      ポージングに関しては今後別の記事で書こうかと思っているんですが、Controlnetという拡張を使って指定のポーズをモデルに取らせることができるようです。

      ネット上に思うようなLoRAモデルが存在しない(超マイナーな版権キャラの画像とか)場合は、自分でLoRAを作るしかないかもしれません。ただこちらはかなりハイスペックなGPU、もしくは有料版のColabなどを用いないときつそうです。

      なお、有料版のColabの場合、R18画像などを学習させることはリスクがあるそうです。

      • お絵描き屋 より:

        ご回答ありがとうございます。

        おっしゃる通り、イラストAの顔で別の衣装、ポージングなどできたらなと思っています。
        同一seed、同一プロンプトでの変え方もやっているのですが、もっと大きく変えることはできないかと方法を探しているところでした。

        LoRAモデルを作れば、とは思っていたのですがパソコンのスペックと相談になりそうですね。

        ControlNetも名前だけ聞いたことありましたが理解ができていないところでした。
        記事にして頂けたら非常にありがたいので楽しみにしています。

  2. 金銀さん より:

    いつも参考にさせて頂いております。以前ご質問させて頂いた時も、分かりやすく教えて下さりありがとうございました。

    今回も壁にぶつかったので質問させて下さい。

    このページの様にGoogle ColaboratoryでWebUIを起動して、アップロード後 koreandolllikenessを使う事はできました。
    知りたいのは『ちなみにLoRAは複数混ぜて使うこともできます。』の部分です。
    どうすれば japanLoraとkoreanLoraをGoogle Colaboratory で混ぜられますか?

    このページ方法だと、どちらかしか花札みたいなマークの所にLoraが入りませんし、ペーストも出来ませんでした。

    ご教授ください。
    宜しくお願い致します。

    • 悠 より:

      コメントありがとうございます!

      Colabで複数のLoRAを混ぜる場合、個人的に一番おすすめの方法は下記の記事で書いている、「maintained by Akaibu」を使う方法です。この方法だとGoogle drive上にアップしたLoRAを何個でもmixすることができます。
      https://yuuyuublog.org/facebombmix/

      「sd-1click-colab」を使いたい場合は、下記リンク
      https://yuuyuublog.org/ai_cosplay/#toc5

      で紹介している方法を使って、Chilloutmixのノートブック上で複数のLoRAを混ぜることができます。

      • 金銀さん より:

        こんな使い方があったんですね!
        まだまだ勉強不足でした…
        ありがとうございます!
        試してみます!!

  3. 匿名 より:

    プロンプト【その1】と【その2】にLoRA使って無くないですか…?

    • 悠 より:

      え、流石に書き忘れだよね…?って思って、上の画像をpnginfoに入れたら本当に使っていませんでした。
      あまりに間抜けすぎて開いた口が塞がりません….

      コメント欄で教えていただき本当にありがとうございます。差し替えておきます….

  4. yuki より:

    はじめて画像生成AIを使いました。すごく勉強になりました。ありがとうございます。
    どんな技術がどうつかわれているのかまったく理解できていませんが、このページの説明通りにやると画像の生成はできました。
    すみません、ひとつお聞きしたいのですがこのページで紹介されている方法で生成した画像は商用利用は可能なのでしょうか?
    SNSにアップするとかyoutubeの動画に使うとかプリントグッズの販売とか
    よろしくお願いします。

    • 悠 より:

      コメントありがとうございます!

      ChilloutMixおよびKoreanDollLikenessは商用利用不可です。なのでプリントグッズの販売はダメです。
      生成した画像を売るのもダメです。

      ただ、SNSにアップする、もしくはYouTubeの動画に使う場合は、「ChilloutMix」と「KoreanDollLikeness」で作成したと明記しておけば大丈夫です。
      あくまで良識の範囲内でですね!例えば100枚画像を生成して、それをつなげただけのような動画をYouTubeにアップするのは個人的にダメだと思います。

      • yuki より:

        丁寧におしえていただき本当にありがとうございます。
        これからも勉強させていただきます。

  5. ゾディ より:

    最近使い始めて、こちらにたどり着きました。
    GWということもあって、AI技術の進歩に驚愕しながら悶々といじっております。
    Stable diffusionのこと、まだ95%は未知の領域で
    こちらのようなサイトの手助けがないとまともな画像すらできません…

    かわいい女の子を生成する上で、LoRAが必須と知り
    こちらの方法を参考にLoRAを入れて1日中いじっておりましたが
    LoRAに関してもある一定の時刻を過ぎると(打ち止め?)状態になってしまうんですね?

    こうなった場合、また同じように入れ直せばいいのでしょうか?
    東方は非力なmacゆえに、Google Colabを使用してます

    また入れ直すのか
    接続が切れずに使い続ける方法があるのか
    ご教授いただければ幸いです。

    どうぞよろしくお願いいたいします。

    • 悠 より:

      コメントありがとうございます!

      ColabのGPU使用には制限があるため、一日中ずっと使うことは残念ながらできないんですよね。
      GPU制限が来たらだいたい半日~1日程度でまた使えるようになります。
      有料版に課金すればある程度制限を緩和できます。

      ↓下の記事のような事情もあるため、ハマり具合によっては移行してみるのもありかもしれません。
      https://yuuyuublog.org/sd_colabend/

      それはそうと、可愛い女の子を出すうえでLoRAが必須というわけでもないですよ!個人的にはモデルの方が重要だと思っています!
      ぜひ下の記事も参考にしてみてください!
      https://yuuyuublog.org/sdmodels/

      • ゾディ より:

        早速のご返信ありがとうございます。

        やはり制限があるのですね〜
        もう待ち切れずに課金しました…(中毒状態)

        ご親切に誘導までしていただき感謝です…
        自分で調べる努力を怠り、恥ずかしい限りです。

        AI生成イラストはまだまだ黎明期なのに
        すでに奥が深すぎて….
        ロートルな自分の脳では処理が追いつかないので
        こちらを運営されてる悠さん様様です…

        時に、LoRAをいじってみて気づいたのですが
        プロンプトにを入れない方が
        かわいい女の子出てきてくれますね…
        貼っていただいた記事も熟読させていただきます!

        ありがとうございました。