no-half-vae外してi2i高速化

2023/06/22

使用したAI Custom Model

メイド喫茶の朝は早い。開店準備中です。

---------------------

StableDiffusion WebUIをローカル運用するにあたり、真っ黒な出力などのエラー防止のために付ける「--no-half-vae」オプション。
入門記事やFAQなどでよく紹介されており、暗黙的に付けて運用している方も多いのではないでしょうか。

そんな中、ちちぷいDiscordにて、--no-half-vaeオプションを外したら早くなった、という話題があったので実際に検証してみました。
いくつか試してみたところ、WebUIのコンソール画面で「████の出力メーターが満杯になってから実際に画像が出力されて処理完了となるまで」の無言の待ち時間が短くなることがわかりました。

推測ではありますが、この待ち時間の部分でSD内部の潜在表現（Latent）をVAEに与え、出力画像を生成（デコード）しているものと思われ、そうだとすればVAE関連のオプションであるno-half-vaeの影響があることは納得できます。
img2imgの場合、入力画像をVAEで潜在表現に変換する処理（エンコード）も入るので、さらに影響が大きいのかもしれません。

普段、それほど大きくない等倍のtxt2imgやimg2imgではこの待ち時間はあまり気にならないのですが、高解像度画像の等倍img2img、または既存画像をアップスケールimg2imgすると、この無言待ち時間が顕著に増えます。（私が使用しているGPUはRTX4070Tiなのですが、1280x1920で数分とか）
そこでここに効果があるのでは…と実行してみたのが今回の画像（1・2枚目）です。（アップスケール元は3・4枚目）

--no-half-vaeあり
100%|███████████████████████| 31/31 [02:08<00:00, 4.15s/it]
Total progress: 100%|███████| 31/31 [04:00<00:00, 7.76s/it]

--no-half-vae無し
100%|███████████████████████| 31/31 [01:58<00:00, 3.81s/it]
Total progress: 100%|███████| 31/31 [02:35<00:00, 5.00s/it]

なんと無言待ち時間が1分52秒から37秒に、3倍強の大幅短縮です。
トータル所要時間はそこまでではないものの、1.5倍強の数値は出ていますね。

普段真っ黒画像出力に悩まされてこのオプションが必須という場合でもない限り、--no-half-vaeは外しておいて良さそうです。