こんにちは！悠です！
今回は、以前紹介させていただいたChilloutMixのLoRAモデル「JapaneseDollLikeness」についての記事です。
遂に日本人の美少女風AIコスプレイヤーを召喚することができますよ！
ドキドキが止まりませんね！！
なお、ChilloutMixの使い方やLoRAに関しては下記の2つの記事を参考にしてください。
【2023年】美少女AIコスプレイヤーをStable Diffusionで生成する方法についてまとめていく！【ChilloutMix】
「Stable Diffusion」を使って、話題のAIコスプレイヤー風の画像を作成する方法についてまとめた記事です。実行にはGoogle Colaboratoryを使用するため、PCのスペックに関係なく試すことができますよ！
yuuyuublog.org
【Stable Diffusion】LoRAとは何なのか？導入方法や使い方をわかりやすく紹介！【KoreanDollLikeness】
「Stable Diffusion」で、特定のキャラクターをいとも簡単に再現できるLoRAの説明と、ChilloutMixを元に追加学習した「KoreanDollLikeness」というLoRAについて紹介した記事です。
yuuyuublog.org
JapaneseDollLikenessの使い方
下記の記事で紹介している「KoreanDollLikeness」と、使い方は全く同じです。
【Stable Diffusion】LoRAとは何なのか？導入方法や使い方をわかりやすく紹介！【KoreanDollLikeness】
「Stable Diffusion」で、特定のキャラクターをいとも簡単に再現できるLoRAの説明と、ChilloutMixを元に追加学習した「KoreanDollLikeness」というLoRAについて紹介した記事です。
yuuyuublog.org
Google Colaboratoryにアップロードするファイルを「japanesedolllikeness_LoRA.ipynb」に変更するだけで使うことができますよ！
使用したプロンプトの一例
私が試してみたプロンプトを紹介します。
なおSampling methodはDPM++ 2M Karrasに設定しました。
画像のサイズについては、縦長の画像を生成したい場合は512×768、横長の画像を作成したい場合は768×512がおすすめです。
プロンプト【その1】
【Positive】
masterpiece, best quality, highres, (photo realistic:1.4),1girl, solo, medium breasts, portrait, big blue eyes, brown hair, detailed clothes, miniskirt, T-shirt, cute, young, posing, very long hair, smile, looking at viewers, (18 years old), indoors, <lora:japaneseDollLikeness_v10:0.3>
masterpiece, best quality, highres, (photo realistic:1.4),1girl, solo, medium breasts, portrait, big blue eyes, brown hair, detailed clothes, miniskirt, T-shirt, cute, young, posing, very long hair, smile, looking at viewers, (18 years old), indoors, <lora:japaneseDollLikeness_v10:0.3>
【Negative】
painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, ((monochrome)),((greyscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat
painting, sketches,(worst quality:2),(low quality:2),(normal quality:2), lowers, ((monochrome)),((greyscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat
プロンプト【その2】
【Positive】
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl, medium breasts, cleavage, <lora:japaneseDollLikeness_v10:0.3> ,detailed beautiful face, big blue eyes, brown hair, detailed clothes, casual t-shirt, cute, young, posing, very long hair, looking at viewers, professional lighting, physically-based rendering.
best quality,masterpiece,ultra high res,(photo realistic:1.4),1 girl, medium breasts, cleavage, <lora:japaneseDollLikeness_v10:0.3> ,detailed beautiful face, big blue eyes, brown hair, detailed clothes, casual t-shirt, cute, young, posing, very long hair, looking at viewers, professional lighting, physically-based rendering.
【Negative】
EasyNegative, painting,sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers,normal quality,((monochrome)), ((grayscale)),skin spots,acnes,skin blemishes,age spot, nsfw,ugly face,fat,missing fingers, extra fingers, extra arms,extra legs, watermark, text, error, blurry, jpeg artifacts, cropped,bad anatomy, 2girl
EasyNegative, painting,sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers,normal quality,((monochrome)), ((grayscale)),skin spots,acnes,skin blemishes,age spot, nsfw,ugly face,fat,missing fingers, extra fingers, extra arms,extra legs, watermark, text, error, blurry, jpeg artifacts, cropped,bad anatomy, 2girl
- Steps: 20
- Sampler: DPM++ SDE Karras
- CFG scale: 7
- Seed: 3893601006
- Size: 768×512
- Model: chilloutmix
- Clip skip: 2
- ENSD: 31337
JapaneseDollLikenessモデルデータのダウンロード
ローカル環境に「Stable Diffusion」を構築している場合は、下記のリンク先から「JapaneseDollLikeness」のモデルデータをダウンロードできます。
nolanaatama/jdllora at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
こちらに全Doll-Likeness-seriesがまとめられています。
Kanbara/doll-likeness-series at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
まとめ
以上が、ChilloutMixをもとにして修正した「JapaneseDollLikeness」というLoRAモデルを使って、日本人風のAIコスプレイヤーを生成してもらう方法の紹介でした。
でも正直、ここまで美少女な日本人を私は見たことがありません。AIが描き出す美しさには全く底がありませんね。
本当にAIアート、楽しすぎます！
では、ここまで読んでいただきありがとうございました。
コメント
お世話になっております。
度々の質問失礼します。
aiコスプレイヤーでの他のモデルデータで、
商用利用可能はないのでしょうか？
こんにちは！コメントありがとうございます。
商用可能なモデルはあるらしいです、が現時点でどれなのか私の方では把握しきれていません。
ですが今後「商用可能なモデル」を紹介するような記事も調べて書いてみようと思っています！
お手数おかけしてすみませんm(__)m
なかなか調べても出てこないので、
是非悠さんのお力をお借りしたいと思いコメントしましたm(._.)m
宜しくお願い致します！
質問です！WebUIを使用しています。
プロンプト1の画像ですが、サンプリング回数やバッチ数、シード値等もお聞きしたいです！
とてもかわいい子だと思い、全く同じ画像も生成してみたく質問しました。
コメントありがとうございます！！嬉しいお言葉です！
Sampling steps は20、Batch countは1 なんですが、シード値に関してはメモってませんでした( ；∀；)
申し訳ないです！
今度からプロンプトを紹介するときはシード値も一緒に載せておきます！
お早い返信ありがとうございます！
他の数値は自分もいっしょでした！シード値で大きく出力画像変わりますもんね～
ありがとうございます！試行錯誤してみます。
一番上のサムネに使われている女性もAIでしょうか。
シード値メモしてありませんか？
もしくは、この方のポジティブ、ネガティブを教えていただきたいです…
コメントありがとうございます！
はいAIイラストです。JapaneseDollLikenessで作成いたしました。
運よくこちらはseed値もメモしてあったので、ポジティブ、ネガティブと合わせて記事の方に追記しておきました！
JapaneseDollLikenessですがcivitaiの方はリンク先に跳んでも404でDL出来ませんね
コメントありがとうございます！
仰る通りで、KoreanDollLikenessとJapaneseDollLikeness、TiwanDollLikenessは現在Civitaiからはダウンロードできません。これはChilloutMixの作者様がモデルを非公開にした際に、一緒に入手不可になったんですね。
ただ、ChilloutMixが復活したように、Likenessシリーズも復活する可能性があると思っているので、一応リンクはそのままにしています！
新たにダウンロードしたLoraファイルを追加したいのですが
コードはどこに、どう記述したらよいかご教授いただけますでしょうか。
マイドライブにフォルダ作成⇒ファイルアップしてもweb UIで確認できませんでした・・・
コメントありがとうございます！
sd-1click-colabとmaintained by akaibuのどちらを使われていますか？
sd-1click-colabの場合は下記の記事
https://yuuyuublog.org/ai_cosplay/#toc5
maintained by akaibuの場合は下記の記事でやり方を紹介しています！
https://yuuyuublog.org/automatic1111_lora/
早々にご回答頂きありがとうございます。
「sd-1click-colab」だと思われます。
リンクまで貼って頂きありがとうございます！
参考にさせていただきます。
いつも参考にしています。ありがとうございます。
今日現在(2023.06.14)でjdloraが15になっています。
こちらのloraは商用利用は可能でしょうか？
オープンレールと書かれた文字は見付けれましたが、商用利用に関しては発見出来ませんでした。
よろしくお願いいたします。
コメントありがとうございます！
CivitaiのjdloraのDLページを見ると、2023/6/14時点で画像の有償販売はOK、有料画像生成サービスでの使用はダメになっています。
DLページの規約を確認の上、AI大好きさんご自身で判断していただけると嬉しいです！
返信ありがとうございます。
この辺りが無知…といいますか、理解が難しいので 言葉の意味を知りたいので教えて下さい。
有償販売OKは、自分で生成した画像であれば有償販売可能 の意味だと思うのですが、有料画像生成サービスとは何でしょうか？
リクエストを受けて有料で販売するサービスという捉え方で良いのでしょうか？
あくまで私の考えですが、webページ上で画像を生成可能なサービスや、webui環境を構築して他者に貸し出す有料サービスでの使用だと思います。
Webサイトにプロンプトを打ち込むだけで画像生成できるサービスがあると思うんですが、ああいうやつでしょうね。
ただこれは「あくまで私の考え」です。参考程度にお考えください。
なるほど！ありがとうございます。分かりやすくて助かりました。お世話になりましたー！
3日前からStable Diffusionを触り始めました。わかりやすい記事を書いていただき、ありがとうございます！
ローカルのM1 Macで環境構築して色々試している最中です。もともと強化学習モデルを簡単に自作する程度の知識はあったので、環境構築で特に詰まることはありませんでしたが、promptなどの設定については他の記事も含めて非常に参考になっています。
設定の記載についてですが、生成後webui画面右下に以下のような文字列が出力されるので、それをコピペするのが簡単で誤解が少ないのかなと考えています。特にmodelやLoraのhashが記載されているため、chilloutmixかと思ったら実はchilloutmix_Niだった、といった間違いを防げると思います。
a girl,
Negative prompt: painting, sketches,(worst quality:2)
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 512×512, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, Clip skip: 2, ENSD: 31337, Lora hashes: “japaneseDollLikeness_v10: 0450e1183d1a”, Version: v1.3.2
そもそも丁寧に各設定を記載されており、参照記事としては全く申し分ないレベルかとは思いますが、ご参考になれば幸いです！
コメントありがとうございます！
温かいお言葉感謝です！少しでもお役に立てたのなら光栄です！
「chilloutmixかと思ったら実はchilloutmix_Niだった」、これハッとしました！確かにこの可能性ありますね！
私が使っているGPUが1660Tiということもあって、GPUの型番の問題で再現性がないことが多そうだからSeed以下はいらないか、などと思っていましたが、hashは追記しておいた方が親切だと思います！
このJDL Loraの記事は私が書いたAI関連の中で3記事目ということもあって、そのあたりが特に微妙になっています…
今後も特徴的なモデルやLoRAの紹介をしていきたいと思っていますので、次の記事からはhashも記載しようと思います！
重ね重ね本当にありがとうございました！！
返信ありがとうございます。
再現性に関しては昨日色々調べていて、おそらく再現性が取れない普遍的な原因になっているであろう箇所を見つけました。
https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/7307#issuecomment-1592925357
コメントに記載した通り、cudaの場合だけcpuとは異なる乱数が生成されていることが問題のようです。
該当コードを(常にcpuで乱数生成するよう)書き換えると、ローカルのMacOS(mps)とGoogle-Colab(cuda)で全く同じ画像が生成できることも確認できましたので、おそらくはこれでGPUの型番などに関わらず再現可能になるかと思います。
生成する乱数の値を変更するだけなので大きな問題はないかと思いますが、パフォーマンスやバグについては深く調べていないため、ソースコードを書き換えて生成する際は自己責任でお願いします！
元々自分で練習する際に再現性が取れた方が効率がいいかなと思い調べたのですが、結局のところcudaで生成された画像をローカルのMacOSで再現することはほぼ不可能なので、自分としてはあまり使い道のない発見でしたw