NVIDIA ChatRTXを画像生成に活用してみた
使用したAI
Stable Diffusion XL
※(追記)間違ってテーマを指定して自由に書かせたSSを貼っていました。単語の羅列を入力して自然言語へ書き換えもできますのでご安心ください。
=============================================================
ローカルLLMだとLM Studioとか使ってる人が多いを思うのですがNVIDIA ChatRTXが気になっていました。
NVIDIA ChatRTXの脆弱性の発表がありましたが提供再開されたので早速NVIDIA ChatRTXをAI生成に活用してみました。
(Youtube動画の取り込みが出来なくなっていたのでそこら周りに脆弱性あったのかな？)
ファーストインプレッションはとにかく軽い速いといった印象でA1111からforgeに乗り換えた時の様な驚きがありました。
NVIDIA ChatRTXではMistral 7B int4とLlama 2 13B int4が使えるのですが130億のパラメータを持つLlama 2でも4bit化のおかげで、forgeと同時に立ち上げての利用も楽勝でした。
VRAM16GB以上のRTXグラボであればグラボの設定で「3D設定の管理」の「プログラム設定」でPython.exeを登録しておくとforgeとNVIDIA ChatRTXを両方立ち上げての利用が可能です。（但し、動かせるのは片方のどちらかです）Hires. fixも余裕です。メインメモリは64GBあった方がいいと思います。
NVIDIA ChatRTXはこちらです
https://www.nvidia.com/ja-jp/ai-on-rtx/chatrtx/
では今回は何をどうAI生成絵に活用したかというと、Taggerの生成した単語の羅列を使って自然言語に書き直してもらいました。
やったのは2通りで普通に自然言語に書き直してもらうパターンとStableDiffusion用のプロンプトとして書き直してもらうパターンの２つ。
普通に自然言語に書き直してもらうパターンは単語数に応じた長文で生成され、StableDiffusion用のプロンプトを指定した場合は75トークンを考慮した短文が10例程生成されました。
他にも色々と自由に指定できます。「想像力を働かせて」とか「〇〇をテーマに」等々。完全にChatRTXにお任せもできますよ。
それと重要なことはnsfw、特定人物、人種、差別、宗教等々、大企業基準のコンプライアンスにより回答拒否される会話も多々あります。
エロ禁止でポリコレに厳しいと思っておいてくださいね。
=============================================================
ローカルLLMだとLM Studioとか使ってる人が多いを思うのですがNVIDIA ChatRTXが気になっていました。
NVIDIA ChatRTXの脆弱性の発表がありましたが提供再開されたので早速NVIDIA ChatRTXをAI生成に活用してみました。
(Youtube動画の取り込みが出来なくなっていたのでそこら周りに脆弱性あったのかな？)
ファーストインプレッションはとにかく軽い速いといった印象でA1111からforgeに乗り換えた時の様な驚きがありました。
NVIDIA ChatRTXではMistral 7B int4とLlama 2 13B int4が使えるのですが130億のパラメータを持つLlama 2でも4bit化のおかげで、forgeと同時に立ち上げての利用も楽勝でした。
VRAM16GB以上のRTXグラボであればグラボの設定で「3D設定の管理」の「プログラム設定」でPython.exeを登録しておくとforgeとNVIDIA ChatRTXを両方立ち上げての利用が可能です。（但し、動かせるのは片方のどちらかです）Hires. fixも余裕です。メインメモリは64GBあった方がいいと思います。
NVIDIA ChatRTXはこちらです
https://www.nvidia.com/ja-jp/ai-on-rtx/chatrtx/
では今回は何をどうAI生成絵に活用したかというと、Taggerの生成した単語の羅列を使って自然言語に書き直してもらいました。
やったのは2通りで普通に自然言語に書き直してもらうパターンとStableDiffusion用のプロンプトとして書き直してもらうパターンの２つ。
普通に自然言語に書き直してもらうパターンは単語数に応じた長文で生成され、StableDiffusion用のプロンプトを指定した場合は75トークンを考慮した短文が10例程生成されました。
他にも色々と自由に指定できます。「想像力を働かせて」とか「〇〇をテーマに」等々。完全にChatRTXにお任せもできますよ。
それと重要なことはnsfw、特定人物、人種、差別、宗教等々、大企業基準のコンプライアンスにより回答拒否される会話も多々あります。
エロ禁止でポリコレに厳しいと思っておいてくださいね。
呪文
入力なし
![[曲付き]嘆きの修道長のバトルBGM](https://chichi-pui.imgix.net/uploads/post_images/4e2e5d3b-8b54-4e3c-b4ea-98f65f5d9ba8/d4130d06-590d-47d1-b5f2-d51863d6fd1f_1200x.jpeg?auto=format&crop=focalpoint&fit=crop&fp-x=0.5&fp-y=0&height=400&lossless=0&width=400)
