こんにちは！悠です！
以前、ChilloutMixというモデルを使ってAIコスプレイヤーの画像を生成するやり方をご紹介いたしました。
今回はその発展形で、ChilloutMixをもとにして追加学習した「KoreanDollLikeness」というLoRAを使って、美しすぎるAIコスプレイヤーを生成してもらう方法を紹介していきます。
モデルとLoRAを組み合わせることで、この世に存在するありとあらゆるシチュエーションの画像を生成できるようになりますよ！
LoRAとは？
まずは、LoRA（Low-Rank Adaption）について、わかりやすく説明していきます。
LoRAを一言で簡単に説明するなら、モデルデータだけでは再現できないキャラクターや構図、シチュエーションや背景を簡単に再現する技術のことです。
具体例を挙げますと、例えば皆さんご存知の初音ミクの画像を生成する場合、プロンプトに「hatsune miku」と入れるだけである程度の効果（ツインテールや青髪の画像を生成する効果）があります。
これは彼女が非常に有名なキャラクターであり、モデルデータ自体の中に学習素材として含まれているためプロンプトで反映できるわけです。
しかし、例えば「ファイナルファンタジー10のワッカ」「ドラゴンクエスト6のダークドレアム」のように、特定のコンテンツだけに登場するキャラクターになってくると、モデルデータの中に学習素材がないため、プロンプトだけで反映するのは非常に難しくなってきます。
そこで「再現したいキャラクター」の画像を複数枚集め、使用したいモデルデータに対して追加で情報を与えて学習させることで、プロンプト1つでその特徴を簡単に呼び出せるようにしたものがLoRAです。
上の例で言えば、「ファイナルファンタジー10のワッカ」の画像を100枚集めてモデルに追加学習させ、その情報を「wakka」というプロンプトに集約させることで、「wakka」と入力するだけでキャラの特徴を再現できるようになるんですね。
これはほんの一例で、LoRAはありとあらゆるバリエーションに対応しています。
- 特定の漫画やアニメ、ゲームのキャラクターを再現するもの
- 特定の背景を再現するもの（都会、田舎、廃墟、温泉、ファンタジー世界など）
- 特定の表情や構図を再現するもの（POV視点、ダブルピース、笑顔、泣き顔など）
- 特定の画風を再現するもの
今回紹介する「KoreanDollLikeness」は、前回紹介したChilloutMixを元にして作られた「韓国風の美人・美少女」を再現するLoRAです。
LoRAの使い方
「Stable Diffusion WebUI」を使っている場合、Generateボタンの下にある花札マーク（🎴）をクリックして、導入したLoRAを選択することで使うことができます。
※花札マークの正式名称は、Show extra Networksです。
該当のLoRAをクリックすると、プロンプト内に下のような表記が現れます。
<lora:lora_name:1>
この数字の部分がLoRAの比重で、数値を大きくするほど生成されるAIイラストに反映されるLoRAの影響が大きくなります。
1以上にするとイラストが崩壊してしまうため、基本的には0.2～0.8あたりの数値を設定することが多いです。
また、LoRAを使う際には特定のプロンプトと組み合わせて使用することで、より強く効果を発揮する場合があります。このようなプロンプトのことをトリガーワードと呼びます。
トリガーワードは基本的に、LoRAをダウンロードするページの概要欄に記載されていることが多いです。
ちなみにLoRAは複数混ぜて使うこともできます。
「KoreanDollLikeness」の導入方法
「Sd-1click-colab」の場合
まず、下記URLからGoogle Colaboratoryにアクセスし、アップロードのタブを選択します。
次に下記GitHubから「koreandolllikeness_LoRA.ipynb」をダウンロードします。
緑色のCode → Download ZIPと選択し、PCに保存後解凍してください。
解凍したフォルダの中にある「koreandolllikeness_LoRA.ipynb」を、Google Colaboratoryのアップロードの中にドラッグアンドドロップします。
下記のような画面が開くので、まずは「1：Setup the web ui」の欄にある実行ボタンをクリックします。
処理が終わるまで（URLが2つ現れるまで）待った後、もう一度「1：Setup the web ui」の欄にある実行ボタンをクリックして処理を停止させます。
その後実行ボタンを右クリックして、「出力を消去」を選択します。
最後に、「3：Load the LoRA & launch the web ui」の欄にある実行ボタンをクリックしましょう。
処理が終わるまで待ち、表示されるpublic URLをクリックしましょう。
これでStable Diffusionが起動します。
「Stable Diffusion」起動後、Generateボタンの下にある花札マークをクリックし、LoRAのタブで「KoreanDollLikeness」を選択しましょう。
「maintained by Akaibu」の場合
「Sd-1click-colab」で使用できないモデルデータを使える「maintained by Akaibu」のノートブックの場合は、下記の記事の方法でLoRAを使用することができます。
ローカル版の場合
ローカル環境を構築してLoRAを使用するやり方は、下記の記事で紹介しています。
「KoreanDollLikeness」の参考画像（プロンプトあり）
私が「KoreanDollLikeness」で生成した画像とプロンプトを紹介します。
画像サイズについては、縦長の画像を生成したい場合は512×768、横長の画像を作成したい場合は768×512がおすすめです。
- Steps: 20
- Sampler: DPM++ 2M Karras
- CFG scale: 7
- Model: chilloutmix_NiPrunedFp32Fix
- Clip skip: 2
- ENSD: 31337
プロンプト【その1】
masterpiece, best quality, highres, (photo realistic:1.4),1girl, solo, medium breasts, full body, big blue eyes, ((silver hair)), white dress with a lot of frill, cute, young, posing, very long hair, flower, headband, looking at viewers, rain, wet, professional lighting, <lora:koreanDollLikeness_v15:0.3>
painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, normal quality,((monochrome)),((greyscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat
プロンプト【その2】
masterpiece, best quality, highres, (photo realistic:1.4),1girl, solo, medium breasts, portrait, (sitting), big blue eyes, blonde hair, school uniform, cute, young, very long hair, hair ornament, professional lighting, (18 years old), indoors, chair,<lora:koreanDollLikeness_v15:0.3>
painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, normal quality,((monochrome)),((greyscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat
プロンプト【その3】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,full body,medium breasts,detailed beautiful face,big blue eyes,blue hair, hatsune_miku, ribbon, detailed clothes, maid costume, wet, beautiful sky, beach, cute,young,posing,very long hair, looking at viewers, professional lighting, physically-based rendering,depth of field,<lora:koreanDollLikeness_v10:0.4>
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat,missing fingers, extra fingers, extra arms,extra legs, open chest
LoRAをダウンロードできるサイト
LoRAもモデルデータと同じく、基本的にCivitaiまたはHugging Faceでダウンロードできます。
ただLoRAは個人でも自作することができるので、TwitterやDiscordなどのSNSや、海外の個人サイト・ブログなどでも入手できたりします。
ローカル版の場合、入手したLoRAは下記のフォルダ内に保存して使いましょう（前半のパスは個人の環境によって異なります。）
C:\Users\name\Desktop\Stable_Diffusion\webui\models\Lora
「KoreanDollLikeness」のダウンロード方法
下記のリンク先から「KoreanDollLikeness」のモデルデータをダウンロードできます。
またCivitaiの方では、KoreanDollLikenessのv20が配布されていました。
「LyCORIS」について
新たな学習アルゴリズムを用いて作成されたLoRAの亜種「LyCORIS」の使い方に関しては、下記の記事でまとめています。
階層LoRAの使い方に関して
LoRAが作用する階層ごとに、細かく数値を設定して使用するやり方に関しては下の記事で紹介しています。
「階層って何？」という方もぜひご覧ください。
自分でLoRAを作成する方法
余りにマイナー過ぎるキャラで、CivitaiやHugging Faceに専用のLoRAがない場合に、自分で素材画像を用意してLoRAを自作できる拡張機能について下の記事でまとめています。
その他LoRAに関する記事
まとめ
以上が「Stable Diffusion」で、特定のキャラクターをいとも簡単に再現できるLoRAの説明と、ChilloutMixを元に追加学習した「KoreanDollLikeness」というLoRAの紹介でした。
LoRAを使うことで、生成できるAIイラストの幅が無限大になりますので、ぜひ皆さんも試してみてくださいね！
では、ここまで読んでいただきありがとうございました。
コメント
先ほどは回答ありがとうございました（別記事での話ですが）
LoRAについてもまたお聞きしたいのですが、LoRAは同じキャラクターの衣装やポージングを変えることができるやり方だと思っているのですが、
配布されたものだと自分の生成したキャラクターと同じ（ような）顔にはできないということでしょうか？
自分で生成したキャラクターの別バージョンを作りたければ自分でLoRAファイルを作る必要があるという理解であってますか？
コメントありがとうございます！
「自分の生成したキャラクター」というのは、何かのモデルデータを使って作成したAIイラスト（仮にイラストAとします）をもとに、イラストAのキャラの顔の造形は同じままで、服装や構図、背景などを微妙に変えて別のイラストを作成したいということでしょうか？
全く同じ画像でいいのなら同一Seed値を使えばいいだけですが、そうではありませんよね？
そういった目的の場合は、同一Seed値と同一プロンプトを使って、Variation strengthを変えてみるのをおすすめします。
https://yuuyuublog.org/variationstrength/
元のイラストの要素をそれほど変えることなく、新たなイラストを作成してくれます。
そのほかに、何か特定の衣装に変更したい場合は、それ専用に学習されたLoRAを探して使うとかですかね。
ポージングに関しては今後別の記事で書こうかと思っているんですが、Controlnetという拡張を使って指定のポーズをモデルに取らせることができるようです。
ネット上に思うようなLoRAモデルが存在しない（超マイナーな版権キャラの画像とか）場合は、自分でLoRAを作るしかないかもしれません。ただこちらはかなりハイスペックなGPU、もしくは有料版のColabなどを用いないときつそうです。
なお、有料版のColabの場合、R18画像などを学習させることはリスクがあるそうです。
ご回答ありがとうございます。
おっしゃる通り、イラストAの顔で別の衣装、ポージングなどできたらなと思っています。
同一seed、同一プロンプトでの変え方もやっているのですが、もっと大きく変えることはできないかと方法を探しているところでした。
LoRAモデルを作れば、とは思っていたのですがパソコンのスペックと相談になりそうですね。
ControlNetも名前だけ聞いたことありましたが理解ができていないところでした。
記事にして頂けたら非常にありがたいので楽しみにしています。
いつも参考にさせて頂いております。以前ご質問させて頂いた時も、分かりやすく教えて下さりありがとうございました。
今回も壁にぶつかったので質問させて下さい。
このページの様にGoogle ColaboratoryでWebUIを起動して、アップロード後 koreandolllikenessを使う事はできました。
知りたいのは『ちなみにLoRAは複数混ぜて使うこともできます。』の部分です。
どうすれば japanLoraとkoreanLoraをGoogle Colaboratory で混ぜられますか？
このページ方法だと、どちらかしか花札みたいなマークの所にLoraが入りませんし、ペーストも出来ませんでした。
ご教授ください。
宜しくお願い致します。
コメントありがとうございます！
Colabで複数のLoRAを混ぜる場合、個人的に一番おすすめの方法は下記の記事で書いている、「maintained by Akaibu」を使う方法です。この方法だとGoogle drive上にアップしたLoRAを何個でもmixすることができます。
https://yuuyuublog.org/facebombmix/
「sd-1click-colab」を使いたい場合は、下記リンク
https://yuuyuublog.org/ai_cosplay/#toc5
で紹介している方法を使って、Chilloutmixのノートブック上で複数のLoRAを混ぜることができます。
こんな使い方があったんですね！
まだまだ勉強不足でした…
ありがとうございます！
試してみます！！
プロンプト【その１】と【その２】にLoRA使って無くないですか…？
え、流石に書き忘れだよね…?って思って、上の画像をpnginfoに入れたら本当に使っていませんでした。
あまりに間抜けすぎて開いた口が塞がりません….
コメント欄で教えていただき本当にありがとうございます。差し替えておきます….
はじめて画像生成ＡＩを使いました。すごく勉強になりました。ありがとうございます。
どんな技術がどうつかわれているのかまったく理解できていませんが、このページの説明通りにやると画像の生成はできました。
すみません、ひとつお聞きしたいのですがこのページで紹介されている方法で生成した画像は商用利用は可能なのでしょうか？
SNSにアップするとかyoutubeの動画に使うとかプリントグッズの販売とか
よろしくお願いします。
コメントありがとうございます！
ChilloutMixおよびKoreanDollLikenessは商用利用不可です。なのでプリントグッズの販売はダメです。
生成した画像を売るのもダメです。
ただ、SNSにアップする、もしくはYouTubeの動画に使う場合は、「ChilloutMix」と「KoreanDollLikeness」で作成したと明記しておけば大丈夫です。
あくまで良識の範囲内でですね！例えば100枚画像を生成して、それをつなげただけのような動画をYouTubeにアップするのは個人的にダメだと思います。
丁寧におしえていただき本当にありがとうございます。
これからも勉強させていただきます。
最近使い始めて、こちらにたどり着きました。
GWということもあって、AI技術の進歩に驚愕しながら悶々といじっております。
Stable diffusionのこと、まだ95%は未知の領域で
こちらのようなサイトの手助けがないとまともな画像すらできません…
かわいい女の子を生成する上で、LoRAが必須と知り
こちらの方法を参考にLoRAを入れて1日中いじっておりましたが
LoRAに関してもある一定の時刻を過ぎると（打ち止め？）状態になってしまうんですね？
こうなった場合、また同じように入れ直せばいいのでしょうか？
東方は非力なmacゆえに、Google Colabを使用してます
また入れ直すのか
接続が切れずに使い続ける方法があるのか
ご教授いただければ幸いです。
どうぞよろしくお願いいたいします。
コメントありがとうございます！
ColabのGPU使用には制限があるため、一日中ずっと使うことは残念ながらできないんですよね。
GPU制限が来たらだいたい半日～1日程度でまた使えるようになります。
有料版に課金すればある程度制限を緩和できます。
↓下の記事のような事情もあるため、ハマり具合によっては移行してみるのもありかもしれません。
https://yuuyuublog.org/sd_colabend/
それはそうと、可愛い女の子を出すうえでLoRAが必須というわけでもないですよ！個人的にはモデルの方が重要だと思っています！
ぜひ下の記事も参考にしてみてください！
https://yuuyuublog.org/sdmodels/
早速のご返信ありがとうございます。
やはり制限があるのですね〜
もう待ち切れずに課金しました…（中毒状態）
ご親切に誘導までしていただき感謝です…
自分で調べる努力を怠り、恥ずかしい限りです。
AI生成イラストはまだまだ黎明期なのに
すでに奥が深すぎて….
ロートルな自分の脳では処理が追いつかないので
こちらを運営されてる悠さん様様です…
時に、LoRAをいじってみて気づいたのですが
プロンプトにを入れない方が
かわいい女の子出てきてくれますね…
貼っていただいた記事も熟読させていただきます！
ありがとうございました。