パイモン、2つのLoRA同士の階層マージ♪

2024/06/28

使用したAI Stable Diffusion

「LoRA同士の階層マージ」は、
マージの電子書籍を買ってみたんだけど、LoRA同士はまだなくって、
しかも、新しいUIになっていてググってもワカメだったですが、試行錯誤でなんとか形に、、
ただ、書籍は、土台部分の正確な情報の速やかな習得に役立つと思います。

自前のパイモン「衣装」と「表情」それぞれLoRA作ったわけですが、
「LoRAプロンプト2つ掲載」と、「2つを階層マージしたLoRA」どちらもある程度うまくいってるようです。

パイモン情報が入ってない古くて小さなMixモデルでも衣装などが出る。表題のイラストがそれ。
(古いとやはり目とかそれなりに破綻はしやすいけど、、)
髪の毛の色が安定しないのはあるけど。。
顔LoRAからの垂れ目傾向が効いているようです。

階層も目安なので、別の階層にも影響があるので、完全なモノでは無いようです。
独特のデザインを崩さないために、途中のデノイズは0.55～0.57位で途中あまりぼかさず、33%でリファイナーに切り替えるのが良かったかな？？

(ゲーム上でのメニュー画面でのパイモンのノビは良いと思って、瞬きしてるMMD画像を入れたからそれで、目が変になることもアリ、、)

ポージングしてないので、Aスタンスが多い～

SDXL対応のも作りたい。。けどkohyaが画像を読むときNaNというエラーが出してうまくいかない。
これが出来れば、少女漫画調の繊細なアイライン、印象派的な淡い表現もできるかなーと。

追記01＞
階層マージの際、数列がずれてる可能性がありますが、顔データは並んでるので無難にすんでる可能性があります。
ただ、ズレると結構崩れるようなはずではあるようなのです。全体枠で0.7：0.3になってる可能性も高いと思い。
作り直したら、メッセージはまともになったけど、結果が、うーん、、今回の方が良い。。

追記02＞
SDXL版LoRAの学習時のエラー原因：VRAMの使い過ぎ
シングルモニターにして、バッチ数を下げ、
その他いくつか軽い設定に変えましたところ動きましたが、
学習時間がとても長いので、今後は、段階の数を減らす必要がありそうですね。

とりあえず、チルノDATAの学習中に、XL階層を、と思ったら、その構造の配列では操作できない事情の問題ありの様？

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon