sd-webui-train-tools 偽YUH

2023/12/27

使用したAI Stable Diffusion

sd-webui-train-toolsでLoraを作ってみた際の感想の続きです
今回は前回の経験を踏まえて偽YUHを手掛けてみたいと思います

ちなみに偽YUHってのは…偽MGRをリスペクト？フィーチャー？したオリキャラ？らしく
別にYUH姉貴の原案でもなんでもないみたいですね

前回は無加工のままで学習画像をブチ込んでみたのですが、今回は背景を消してみます
Inpaint Anythingを使えばマスク化してキレイに簡単に切り抜きが出来るかと思いきや
はれえ？（マスク範囲が）はみでちゃつてる
また輪郭の線が消えちゃうかもしれませんが、面倒なのでフォトショップを使って消してきます！

画像の対比も1：1にして、2枚目のような感じにして学習開始
学習枚数は15枚で繰り返し回数は10回、エポックは5、10、15、20毎に保存して比較

繰り返しの回数は15回だと（学習画像10枚でも）過学習になる気がするので10回で
エポックも20だと過学習気味で線が滲んでぶれる感じがするのでそこまで

sd-webui-train-toolsを使ったLora学習では、学習枚数18枚以上だとエラーになるみたい…
けどこれはもしかして、RTX3050でやったのでメモリが８GBだと少なくてダメだったのかも？
（学習画像19枚繰り返し10で、エポック5だけ成功した）
※メモリ消費は6GBまでだった、15枚でも失敗することがあった…分からん

[Create flipped copies]にチェックを入れれば反転画像を作ってくれるみたいですが
画像枚数が多くなると時間かかるしエラーなるかもしれないので無しで

[Use BLIP for caption]か[Use deepbooru for caption]にチェックを入れれば
キャプションを自動で着けてくれるみたいですが、これがどのように作用するのかは分かりません
中身を見てみると,（カンマ）で区切ってないみたいだし、自分で編集するのか？背景は消したんだし無しで

なんとか無事にLoraが出来上がったみたいなので、エポック毎の仕上がりをチェックしてみます
なかなかいい感じに仕上がったのではないでしょうか、学習画像を全て足して割ったような絵柄になります

やはりエポックは5では学習が足りなくて、20だと過剰気味な気がしますね
20でもそれなりの絵が出ますが、出力結果が同じ様なポーズや種類で固定されてしまっているような

10と15ではあまり変わらないような…10だと若干学習が弱い？15と比べてですが
しかし全体的に学習されているせいか、モデルを変えても絵柄の変化は起きないですね…

ここらへんの設定は突き詰めていくと沼なので、暫定で決めていくと
学習画像15、繰り返し回数10、エポック15を基準に各々前後していけばいいのではないでしょうか
sd-webui-train-toolsに限った話ですけど…

ちょっと大味な気もしますが、手軽にLoraを作れるという点に関してはいいツールかも？
これからLoraを作ってみたいって方は入門用にどうでしょう
最後に、画像をパク…使わせて頂いたみなさんありがとー！フラーッシュ！あぇ

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon