【実験】1枚の立ち絵からキャラクターLoRAを作ってみる

2024/10/13

使用したAI その他

今回はちょっと気になったので実験的なことをしてみました。
生成の中で偶然生成されたキャラクターのデザインが好みだったので、そのたった一枚からキャラクターのLoRAの作成にチャレンジしました。

この投稿の1枚目がベースとなった生成品です。細部のデザインは若干の修正を加えていますが、おおむね出たままです。
当初出したかった想定のデザインとはかなり違うのですが、若干民族チックなデザインが気に入ったので、LoRAの作成のベースにすることにしました。

特徴としては、
・黒髪緑目
・ケモミミ、尻尾
・特徴的な衣装
この点を抑えられれば概ね成功として目標にしました。

以下はLoRA作成においてベースの画像作りに使用した手段です。
・ベースのイラストの角度を若干変えたものを作る
・ベースのイラストの背景違いを作る
・顔や腕、上半身など、部位ごとのクローズアップを作る
・表情の差分、首を傾けた物などを作る
・Tripo3Dを使用し、背後の画像、斜めからの画像を作成し、i2iのベースにする

そうして用意した画像約40枚強で作成したLoRAを使用して生成したものが2枚目以降になります。
中々良い結果が出たのではないでしょうか。勿論モデルごとに向き不向きがありますが……。(衣服の細部や人耳が出やすい等)
欠点としては、元が一枚の絵なので絵柄が寄ってしまうこと、元となったポーズに固定されやすいことでしょうか。それでも1からオリジナルキャラクターのLoRAができるというのは面白いです。

キャラクターの設定は、森の奥深くに住む風を司る一族の少年、名前はロウエ（GPT命名）となります。
PixAIにてLoRAを公開しています。 https://pixai.art/model/1802082576578109834?utm_source=copy_web

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon