3Dモデルを合成して手などの近景オブジェクトを修正
使用したAI
Stable Diffusion
プロンプトだけで生成する事が難しいものを、3Dソフトウェア等を利用して工夫しています。
二枚目は、プロンプトで生成した画像を、ControlNetのDepthプリプロセッサを利用して簡易的に3D化してBlenderに読み込み、手の部分を3Dに差し替えた制作過程です。
単純にimg2imgで修正する場合は立体的な制御が難しいですが、3D上で合成する事により、より複雑な修正が可能になります。
(1) Stable Diffusion webUI の ControlNet depth_midas プリプロセッサを利用して、Depthマップを作成します。Blender の Displacement Modifier に読み込ませて簡易3D化します。
(2) 人物フィギュアの手の部分をポージングさせ合成して3Dレンダリングします。
(3) 合成の不自然さを無くすために、lama cleanerやインペイント処理します。
■ 3Dフィギュア（Blenderフォーマット）
https://catapp-art3d.booth.pm/items/4165455
■ （人物3Dモデルではじめる）誰でもできるBlender超入門
https://catapp-art3d.booth.pm/items/4350898
■誰でもできるAI画像生成アート入門 2 （Stable Diffusion webUI編）単体版は以下になります。
https://catapp-art3d.booth.pm/items/4769783
■「（GTX1660tiではじめる）誰でもできるAI画像生成アート入門」を購入頂いた方は、新しいStable Diffusion webUI編もダウンロードできます。以下よりダウンロード下さいませ。
https://catapp-art3d.booth.pm/items/4310567
二枚目は、プロンプトで生成した画像を、ControlNetのDepthプリプロセッサを利用して簡易的に3D化してBlenderに読み込み、手の部分を3Dに差し替えた制作過程です。
単純にimg2imgで修正する場合は立体的な制御が難しいですが、3D上で合成する事により、より複雑な修正が可能になります。
(1) Stable Diffusion webUI の ControlNet depth_midas プリプロセッサを利用して、Depthマップを作成します。Blender の Displacement Modifier に読み込ませて簡易3D化します。
(2) 人物フィギュアの手の部分をポージングさせ合成して3Dレンダリングします。
(3) 合成の不自然さを無くすために、lama cleanerやインペイント処理します。
■ 3Dフィギュア（Blenderフォーマット）
https://catapp-art3d.booth.pm/items/4165455
■ （人物3Dモデルではじめる）誰でもできるBlender超入門
https://catapp-art3d.booth.pm/items/4350898
■誰でもできるAI画像生成アート入門 2 （Stable Diffusion webUI編）単体版は以下になります。
https://catapp-art3d.booth.pm/items/4769783
■「（GTX1660tiではじめる）誰でもできるAI画像生成アート入門」を購入頂いた方は、新しいStable Diffusion webUI編もダウンロードできます。以下よりダウンロード下さいませ。
https://catapp-art3d.booth.pm/items/4310567
呪文
入力なし
