パイモンのLoRA一段落。。--[12枚]

2024/07/08

使用したAI Stable Diffusion

LoRAのパラメタ選定、学習からやり直してみました。
衣装メインとと顔メインの比は画像によって結構変えていますが、大体落ち着いてきてからのモノが多いです。衣装は薄めすぎて、別ワードに引っ張られてるような～、、

今のとこ、顔はこの感じで、衣装は…、とか、やってみましたが、顔優先で、衣装はあまり反映できませんでした。＜最後(右端)の2枚が比較的衣装を強めたモノです。

服に関してはちょっと前に作った「ZXR」と名付けてるLoRAの方がそれっぽく出て来る気がしますね、、

－－－－－－－－－－－－－－－－－－－－－－－－－－－

でもって、
誰もがやりたがるであるだろうLoRA同士の任意な部分のマージは、予想外に困難そうでした。

曖昧な分割のウェイトを調べ上げ、関わるトコにウェイト分布を分散して設定。
そうしても、その作業で顔や衣装など「ターゲットの選択性が狭まる要素は少なさそう」。
トリガーで発動するけど、画像内の要素選別にワードも含むのかというとワカメ、他のモノを何か排他的にできればいいけど。。

LoRA作成(学習)時の問題か、というと、それは「層別学習」はできないらしいので、、元データの工夫はあるかな？基本「生成時」のLBWらしいけど。
他に何かが必要なのか？表現範囲も狭まるし、しばらく様子見してみようかなー、

よって、好きな要素で学習させ、薄めて使うのと、あとは、含んでいるものの中からの創作性に任せる。
つまり、ガッチリ意図的なモノに似せるとかいう要望が無いので、これはこれで、、と思ったり。

チェックポイントのマージはまたどうなのか結果はわけワカメですが、
かなりのVRAMが必要そうですね。キャラに分けてやってたら、繰り返せば特定キャラ用の無数のチェックポイントモデルでHDDがいっぱいに。

あと、XL版ではLoRAを使うのはやめようと思いました。重すぎて…、
XLで生成した画像を無印のLoRAで学習させてというのはある程度のテかもしれないです。
それと、無印もLoRAのマージは「分布を持たせずに定量」にしようと思います。

その上で、引き続き、弄っていこうと思いますが、
LoRAは同時に複数使えるっぽいようなので、そこらの工夫でも行けるトコもあるかと。

つまり、苦しまず楽しんでやるには、一定比率でマージがよろしいかと思いました。
今後、学習段階や出力で詳細を比較的自由且つ容易に指定できる追加学習が生まれればよいですね。
----------------------------------------------------------
目標的には、細かい線の集合で、繊細で美的なアイラインやまつ毛を出したいと思ってるのですがムズイですね。

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon