【Stable Diffusion】KoreanDollLikeness(LoRA)の使い方。美しすぎるAIコスプレイヤーを召喚しよう!

こんにちは!悠です!

 

以前、Chilloutmixというモデルを使ってAIコスプレイヤーの画像を召喚するやり方をご紹介いたしました。

【2023年】美少女AIコスプレイヤーをStable Diffusionで生成する方法についてまとめていく!【ChilloutMix】
「Stable Diffusion」を使って、話題のAIコスプレイヤー風の画像を作成する方法についてまとめた記事です。実行にはGoogle Colaboratoryを使用するため、PCのスペックに関係なく試すことができますよ!

 

今回はその発展形で、Chilloutmixをもとにして修正した「KoreanDollLikeness」というモデルを使って、美しすぎるAIコスプレイヤーを生成してもらう方法を紹介していきます。

冗談抜きで絶世の美女という表現しか思い浮かびません!

スポンサーリンク
スポンサーリンク

LoRAとは?

今回使う「KoreanDollLikeness」は、LoRAモデルと呼ばれています。

Stable Diffusionを使っているとLoRAという単語を頻繁に耳にしますが、これはもととなるモデルに微修正を加えて改良や新たな特徴付けをしていく手法を指すようですね。

 

詳しくは下記の記事を参考にしてください。

【Stable Diffusion】LoRAのインストール
「DreamBoothを動かせる環境がない・・・」「気軽にモデルのファインチューニングを実行したい」このような場合には、LoRAがオススメです。この記事では、ファインチューニングが簡単に行えるLoRAについて解説しています。

 

「KoreanDollLikeness」は、前回紹介したChilloutMixのLoRAモデルだそうです。

ちなみにLoRAは複数混ぜて使うこともできます。
例:<lora:koreanDollLikeness_v15:0.3> ,<lora:japaneseDollLikeness_v10:0.3>

 

KoreanDollLikenessの使い方

今回もGoogle Colaboratoryを使用するので、PCのスペックに関係なくイラスト生成を行うことができます。

 

まず、下記URLからGoogle Colaboratoryにアクセスし、アップロードのタブを選択します。

Google Colaboratory

 

 

次に下記GitHubから「koreandolllikeness_LoRA.ipynb」をダウンロードします。

GitHub - nolanaatama/sd-1click-colab
Contribute to nolanaatama/sd-1click-colab development by creating an account on GitHub.

 

緑色のCode → Download ZIPと選択し、PCに保存後解凍してください。

 

解凍したフォルダの中にある「koreandolllikeness_LoRA.ipynb」を、Google Colaboratoryのアップロードの中にドラッグアンドドロップします。

 

下記のような画面が開くので、まずは「1:Setup the web ui」の欄にある実行ボタンをクリックします。

 

処理が終わるまで(URLが2つ現れるまで)待った後、もう一度「1:Setup the web ui」の欄にある実行ボタンをクリックして処理を停止させます。

その後実行ボタンを右クリックして、「出力を消去」を選択します。

 

最後に、「3:Load the LoRA & launch the web ui」の欄にある実行ボタンをクリックしましょう。

 

処理が終わるまで待ち、表示されるpublic URLをクリックしましょう。

 

これでStable Diffusionが起動します。

 

「Stable Diffusion」起動後、Show extra networkのボタンを押し、LoRAのタブでKoreanDollLikenessを選択しましょう。

 

なお、<lora:koreanDollLikeness_v10:(任意の数値)>というプロンプトを使って、どの程度LoRAの成分が生成されるAIイラストに反映されるかを決定します。数値が1に近いほど反映量が大きくなります。

一般的に0.2~0.8が推奨されているようです。

使用したプロンプトの一例

私が試してみたプロンプトを紹介します。

 

なおSampling methodはDPM++ SDE Karrasに設定しました。

画像のサイズについては、縦長の画像を生成したい場合は512×768、横長の画像を作成したい場合は768×512がおすすめです。

 

プロンプト【その1】

 

 

 

【Positive】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,medium breasts,big blue eyes,silver hair,white dress with a lot of frill,cute,young,posing,very long hair,flower,headband,looking at viewers,rain, wet, professional lighting, physically-based rendering
【Negative】
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat

 

プロンプト【その2】

 

 

【Positive】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,medium breasts,big blue eyes,silver hair,black school uniform,cute,young,posing,very long hair,flower,headband,looking at viewers,rain, wet, professional lighting, physically-based rendering,
【Negative】
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat

 

プロンプト【その3】

 

 

 

 

 

【Positive】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl,full body,medium breasts,detailed beautiful face,big blue eyes,blue hair, hatsune_miku, ribbon, detailed clothes, maid costume, wet, beautiful sky, beach, cute,young,posing,very long hair, looking at viewers, professional lighting, physically-based rendering,depth of field,<lora:koreanDollLikeness_v10:0.4>
【Negative】
painting,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(outdoor:1.6),nsfw,ugly face,fat,missing fingers, extra fingers, extra arms,extra legs, open chest



KoreanDollLikenessモデルデータのダウンロード

ローカル環境に「Stable Diffusion」を構築している場合は、下記のリンク先から「KoreanDollLikeness」のモデルデータをダウンロードできます。

Korean Doll Likeness | Stable Diffusion LORA | Civitai
Greetings,This is my first ever LORA, trained using a simple mix of Uber Realistic Porn Merge (URPM) -0.7 and ChilloutMix -0.3.If you're a Korean aesthetics enj...
nolanaatama/kdllora at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
https://civitai.com/models/19356/koreandolllikenessv10

 

まとめ

以上が、Chilloutmixをもとにして修正した「KoreanDollLikeness」というLoRAモデルを使って、AIコスプレイヤーを生成してもらう方法の紹介でした。

プロンプトを探したい場合は、ちちぷいというサイトが非常に参考になるのでおすすめですよ!

chichi-pui(ちちぷい)| AIイラスト専用の投稿サイト
chichi-pui(ちちぷい)| AIイラスト専用の投稿サイト

 

では、ここまで読んでいただきありがとうございました。

コメント

  1. お絵描き屋 より:

    先ほどは回答ありがとうございました(別記事での話ですが)

    LoRAについてもまたお聞きしたいのですが、LoRAは同じキャラクターの衣装やポージングを変えることができるやり方だと思っているのですが、
    配布されたものだと自分の生成したキャラクターと同じ(ような)顔にはできないということでしょうか?
    自分で生成したキャラクターの別バージョンを作りたければ自分でLoRAファイルを作る必要があるという理解であってますか?

    • 悠 より:

      コメントありがとうございます!

      「自分の生成したキャラクター」というのは、何かのモデルデータを使って作成したAIイラスト(仮にイラストAとします)をもとに、イラストAのキャラの顔の造形は同じままで、服装や構図、背景などを微妙に変えて別のイラストを作成したいということでしょうか?

      全く同じ画像でいいのなら同一Seed値を使えばいいだけですが、そうではありませんよね?

      そういった目的の場合は、同一Seed値と同一プロンプトを使って、Variation strengthを変えてみるのをおすすめします。
      https://yuuyuublog.org/variationstrength/

      元のイラストの要素をそれほど変えることなく、新たなイラストを作成してくれます。

      そのほかに、何か特定の衣装に変更したい場合は、それ専用に学習されたLoRAを探して使うとかですかね。

      ポージングに関しては今後別の記事で書こうかと思っているんですが、Controlnetという拡張を使って指定のポーズをモデルに取らせることができるようです。

      ネット上に思うようなLoRAモデルが存在しない(超マイナーな版権キャラの画像とか)場合は、自分でLoRAを作るしかないかもしれません。ただこちらはかなりハイスペックなGPU、もしくは有料版のColabなどを用いないときつそうです。

      なお、有料版のColabの場合、R18画像などを学習させることはリスクがあるそうです。

      • お絵描き屋 より:

        ご回答ありがとうございます。

        おっしゃる通り、イラストAの顔で別の衣装、ポージングなどできたらなと思っています。
        同一seed、同一プロンプトでの変え方もやっているのですが、もっと大きく変えることはできないかと方法を探しているところでした。

        LoRAモデルを作れば、とは思っていたのですがパソコンのスペックと相談になりそうですね。

        ControlNetも名前だけ聞いたことありましたが理解ができていないところでした。
        記事にして頂けたら非常にありがたいので楽しみにしています。