こんにちは！悠です！
以前、Chilloutmixというモデルを使ってAIコスプレイヤーの画像を召喚するやり方をご紹介いたしました。
今回はその発展形で、Chilloutmixをもとにして修正した「KoreanDollLikeness」というモデルを使って、美しすぎるAIコスプレイヤーを生成してもらう方法を紹介していきます。
冗談抜きで絶世の美女という表現しか思い浮かびません！
LoRAとは？
今回使う「KoreanDollLikeness」は、LoRAモデルと呼ばれています。
Stable Diffusionを使っているとLoRAという単語を頻繁に耳にしますが、これはもととなるモデルに微修正を加えて改良や新たな特徴付けをしていく手法を指すようですね。
詳しくは下記の記事を参考にしてください。
「KoreanDollLikeness」は、前回紹介したChilloutMixのLoRAモデルだそうです。
KoreanDollLikenessの使い方
まず、下記URLからGoogle Colaboratoryにアクセスし、アップロードのタブを選択します。
次に下記GitHubから「koreandolllikeness_LoRA.ipynb」をダウンロードします。
緑色のCode → Download ZIPと選択し、PCに保存後解凍してください。
解凍したフォルダの中にある「koreandolllikeness_LoRA.ipynb」を、Google Colaboratoryのアップロードの中にドラッグアンドドロップします。
下記のような画面が開くので、まずは「1：Setup the web ui」の欄にある実行ボタンをクリックします。
処理が終わるまで（URLが2つ現れるまで）待った後、もう一度「1：Setup the web ui」の欄にある実行ボタンをクリックして処理を停止させます。
その後実行ボタンを右クリックして、「出力を消去」を選択します。
最後に、「3：Load the LoRA & launch the web ui」の欄にある実行ボタンをクリックしましょう。
処理が終わるまで待ち、表示されるpublic URLをクリックしましょう。
これでStable Diffusionが起動します。
「Stable Diffusion」起動後、Show extra networkのボタンを押し、LoRAのタブでKoreanDollLikenessを選択しましょう。
なお、<lora:koreanDollLikeness_v10:（任意の数値）>というプロンプトを使って、どの程度LoRAの成分が生成されるAIイラストに反映されるかを決定します。数値が1に近いほど反映量が大きくなります。
一般的に0.2～0.8が推奨されているようです。
使用したプロンプトの一例
私が試してみたプロンプトを紹介します。
なおSampling methodはDPM++ SDE Karrasに設定しました。
画像のサイズについては、縦長の画像を生成したい場合は512×768、横長の画像を作成したい場合は768×512がおすすめです。
プロンプト【その1】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,medium breasts,big blue eyes,silver hair,white dress with a lot of frill,cute,young,posing,very long hair,flower,headband,looking at viewers,rain, wet, professional lighting, physically-based rendering
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat
プロンプト【その2】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,medium breasts,big blue eyes,silver hair,black school uniform,cute,young,posing,very long hair,flower,headband,looking at viewers,rain, wet, professional lighting, physically-based rendering,
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat
プロンプト【その3】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,full body,medium breasts,detailed beautiful face,big blue eyes,blue hair, hatsune_miku, ribbon, detailed clothes, maid costume, wet, beautiful sky, beach, cute,young,posing,very long hair, looking at viewers, professional lighting, physically-based rendering,depth of field,<lora:koreanDollLikeness_v10:0.4>
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat,missing fingers, extra fingers, extra arms,extra legs, open chest
KoreanDollLikenessモデルデータのダウンロード
ローカル環境に「Stable Diffusion」を構築している場合は、下記のリンク先から「KoreanDollLikeness」のモデルデータをダウンロードできます。
まとめ
以上が、Chilloutmixをもとにして修正した「KoreanDollLikeness」というLoRAモデルを使って、AIコスプレイヤーを生成してもらう方法の紹介でした。
プロンプトを探したい場合は、ちちぷいというサイトが非常に参考になるのでおすすめですよ！
では、ここまで読んでいただきありがとうございました。
コメント
先ほどは回答ありがとうございました（別記事での話ですが）
LoRAについてもまたお聞きしたいのですが、LoRAは同じキャラクターの衣装やポージングを変えることができるやり方だと思っているのですが、
配布されたものだと自分の生成したキャラクターと同じ（ような）顔にはできないということでしょうか？
自分で生成したキャラクターの別バージョンを作りたければ自分でLoRAファイルを作る必要があるという理解であってますか？
コメントありがとうございます！
「自分の生成したキャラクター」というのは、何かのモデルデータを使って作成したAIイラスト（仮にイラストAとします）をもとに、イラストAのキャラの顔の造形は同じままで、服装や構図、背景などを微妙に変えて別のイラストを作成したいということでしょうか？
全く同じ画像でいいのなら同一Seed値を使えばいいだけですが、そうではありませんよね？
そういった目的の場合は、同一Seed値と同一プロンプトを使って、Variation strengthを変えてみるのをおすすめします。
https://yuuyuublog.org/variationstrength/
元のイラストの要素をそれほど変えることなく、新たなイラストを作成してくれます。
そのほかに、何か特定の衣装に変更したい場合は、それ専用に学習されたLoRAを探して使うとかですかね。
ポージングに関しては今後別の記事で書こうかと思っているんですが、Controlnetという拡張を使って指定のポーズをモデルに取らせることができるようです。
ネット上に思うようなLoRAモデルが存在しない（超マイナーな版権キャラの画像とか）場合は、自分でLoRAを作るしかないかもしれません。ただこちらはかなりハイスペックなGPU、もしくは有料版のColabなどを用いないときつそうです。
なお、有料版のColabの場合、R18画像などを学習させることはリスクがあるそうです。
ご回答ありがとうございます。
おっしゃる通り、イラストAの顔で別の衣装、ポージングなどできたらなと思っています。
同一seed、同一プロンプトでの変え方もやっているのですが、もっと大きく変えることはできないかと方法を探しているところでした。
LoRAモデルを作れば、とは思っていたのですがパソコンのスペックと相談になりそうですね。
ControlNetも名前だけ聞いたことありましたが理解ができていないところでした。
記事にして頂けたら非常にありがたいので楽しみにしています。