カラーノイズからのi2iまとめ

2023/05/15

使用したAI Custom Model

1.Ellre(エルレ)様（@ spellresearcher）発案のカラーノイズからi2iで生成するという手法をアレンジし、色々と検証を行ってきました。twitterの記載が分散してしまったのでこちらにまとめることにします。思い通りにならない場合も勿論ありますが、ハマるととても気持ちよく色と構図を狙って生成することができます。今では自分の多くのイラストがこの手法から生まれているくらい頼りきりになっているものなので、よろしければお試しくださいませ！

2.元々は黒いノイズ部分と白、というものでしたが、黒が結構がっつり影として出ることが多かったためちょっとアレンジをしようと思いました。
ノイズのレイヤーを薄くして色と重ね、2セット用意して、色味と同時に「背景と人物」みたいなコントロールができないか…と

3.「1 girl, long stockings」というシンプルなプロンプト、色だけで試すと当然上のように白い部分にかろうじてストッキング？？みたいな画像が出てくるだけです。が、これにノイズを被せると…いけそう！
※ノイズ除去強度は6～7くらいでお試しください！

4.ノイズは不透明度の変更だけでなく反転させて白くしたのも使っています、逆に黒が欲しいときは黒ベースのノイズのままでもいけます。
個人的には緑と茶色が色々なものが出てきやすくて便利です。迷ったらベースは緑か茶色がオススメです。こちらの画像でも緑は背景や構図含め多彩なものが出ています。逆にピンクは桜、青は水、という感じに偏りがちかも。
何も指定しなくても色々出てくるので面白いです。

5.t2iだけでなかなか出ないような構図もこの方法で出せる確率が上がった、と個人的には思っています。この人物を覆うような水道橋のような構造物、それまでの自分のプロンプト能力では出せませんでした…。どこに人物が来るかまでは指定していませんが、全体の色味と構図はざっくりコントロールできています。

6.以降は発展例、7のようなノイズを使えば「3 magical heroines, signature pose」などの色を一切指定しない単純なプロンプトでもこのような絵が出ます！これは単語を変えていまだに色々と生成して遊んでいるくらい個人的には楽しめる手法です。最大3x5の15分割まで生成出来るのは確認しました。ただしノイズの被らないはっきりとした区切り線を描いた場合に限ります。

8.9.区切り線のないケースです、2体ならばかなりはっきり出せます。こちらもキャラクターについての記述は「2 girls walking hand in hand,」のみです。

10.11.身長差が出せるか、離れたところにある部位も同じ個体と認識できるか、等の検証です。結果そこそこできます！しかし区切り線を用いない場合は3体以上は極端に成功率が下がります。

12.2 girlsではなく男女も出せるか、という検証。
「(1 Chinese girl, engaging martial arts, bun hair, china dress) vs (1 old man, fire-breathing yoga master, skin head), street fight,」
という冗談のようなプロンプトで試したものです。成功率は1割未満くらいですが、なんとか出せることは出せます。しかしおそらくここまで来るとノイズの効果は薄く、意図と構図が決まっている場合は拡張機能のRegional PrompterやLatent Coupleなどを用いた方がいい結果が出せると思います。

以上です！長文失礼しました。楽しい生成ライフを！