sd-webui-train-tools 偽MGR

2023/12/26

使用したAI Stable Diffusion

Lora学習について調べていた所、簡単にLoraがつくれるという
sd-webui-train-toolsというツールを発見したので、これの使用感などをまとめていきたいと思います

ちなみに偽MGRというのは…MGR姉貴のボツ案？プロトタイプ？だそうな？
まぁLoraもありませんし、テキトーにお試しでこちらを手掛けてみましょう！

sd-webui-train-toolsというのは外部ツールではなく拡張機能のようで、
Stable Diffusionからインストールして使うみたいですね
なんか怪しいので前に使ってたStable Diffusion v1.4の環境にインストールしてみます

該当の学習素材をドロップボックスに放り込むだけで準備OKみたいなので、12枚ほど投入
キャプション付の作業なんか全然ありませんでしたから、丸っと学習されるみたい？

でも、学習画像は投入前に自分で背景などを消していけば学習ターゲットのみなので
細かなキャプションは必要ないような気がします

そもそもキャプション付はそんなシビアにしなくても問題ないそうで、
1girlとかlooking at viewerなどの漠然系や状況系は消しても消さなくてもいいんだそうな？

まぁお試しだし、どんな感じになるかの検証なので背景消去などの加工は一切なし
どうせ投稿しないし…面倒だし…

わりといい感じに出力できて、破綻も少ないように見えますが
どーも頭の上の方が見切れている画像が多いですね…

どうやら学習元の画像は中心から１：１の比率にトリミングされて
さらに512x512のサイズに加工されるようです
（outputsフォルダに加工画像も出力されますが2番目の画像のような感じ）

簡単にLoraが作れるという謳い文句でしたが、やはり事前準備は必要みたいですね…
あと全体的に学習されるせいか、モデルを変更しても絵柄があんまり変わらなかったりします
（リアル系のモデルに変更してもイラスト調）

ほかにも試してみましたが、学習画像の枚数が多くてもエラーになるみたい
学習画像は多ければいいと思って80枚、40枚と投入してみましたが、
Lora自体は作れても生成がまったく出来ない代物になってしまいますね…
（これはsd-webui-train-tools特有の現象で、他のLora作成手法だったら40枚以上でも作成可能？）

関連記事をみていると、どーもバグがあったり挙動の悪いツールみたいで、あんまり信用なりませんね…
まぁこんな手法もありますよってことで、まだまだ要検証ですね

このツールに限らないですが、データ学習はすごく時間がかかりますねぇ
試行錯誤の繰り返しなのに、学習中は手詰まりになるのでなんともモドカシイ
バッチサイズを増やしてみても、あんまり早くならない感じですし
バッチサイズ増やすとあんまりよくないみたいな話も聞きますし、どうしたものやら

もしやと思い、サブPCのRTX3050の方でもLora作成してみる（メインはRTX4070）
10画像x10繰り返しx10エポック=1000ステップの同じ条件で作成
コマンド情報をみるとRTX3050の方は12分、RTX4070の方は9分で完了した模様

画像生成とは違い、Lora作成はメモリは6GBあれば大丈夫だそうなので
そんなにスペックはいらないし、学習時間に差は付かないのかも？
もしなんでしたら安いサブPCを用意して、そちらを学習専用に使うってのもいいかもしれませんね

簡単に自作LoRAが作れるStable Diffusionの拡張機能『sd-webui-train-tools』の使い方！ | Romptn Magazine
https://romptn.com/article/18453

追記：再投稿申し訳ナス！やはりそのままでは転載になると思い
パク…使わせて頂いた画像にはモザイクかけました、ありがとうございます

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon