(最初の3枚は当方生成画像をそのまま使用、最後の2枚は当方生成別画像の顔を使い雑コラ画像から)
Stable Diffusionをやっている人なら誰もが知っているA1111拡張機能のControlNetやforgeの作者lllyasviel氏から
「IC-Light」なる既存の画像に対し、ライティングし直し生成するWebUIがリリースされていました。
早速ローカル環境に構築して使ってみました
第一印象は「これは便利だな」といった印象 3DCG経験者なら直ぐに解ると思うのですが
既存の画像の人物をくり抜き奥行き感を持たせるDepthを掛け、背景として生成した画像をグローバルイルミネーションとして使い
人物をそのグローバルイルミネーションでライティングして全体を生成していますね
ControlNetの作者ですからその辺のノウハウもお手の物なんでしょう
ただ色々制約もありまして
・1024*1024を超えるサイズの画像はアップスケールを掛ける必要があること
・生成モデルが専用モデルの為全く同じ顔になるわけではない(人物も含め全てを書き換える為です)
・顔が小さいと崩れやすいので長辺最大の1024にし、Highres Scale(IC-Lightdでの機能名)で2倍程度にした方がいい
・人物の顔がぼやけ気味なので別途鮮明化した方がいい
・R-18画像に関しては性器の描写はいけるがエロ強化モデルより弱い。プロンプトを具体的に書けば割といける感じ ポーズは標準的なSDモデル並 開脚等なら問題なし
・元絵が二次絵の場合はちゃんと絵になりません。生成はされますがクリーチャーになります
・グラボのVRAMは最低16GBはあった方がいいかも(立ち上がってる状態で私の場合13GB以上消費してます)
等々ありますが私的にはかなりお勧めです
雑コラ並に人物の顔を切り張りした画像からでも綺麗に仕上がったりしまし
背景削除後の画像も保存できますので「人物切り抜きツール」としても使えます
IC-Lightデモページ
https://huggingface.co/spaces/lllyasviel/IC-LightIC-Lightのダウンロードは以下です
https://github.com/lllyasviel/IC-Light?tab=readme-ov-file