スマホでローカル生成する
使用したAI
その他
この画像はメモリ3GBのスマートフォンで10分38秒で画像生成をしました
絵の品質が低くて、何が写っているかぐらいしか判別できないね
――――――――――――――――――――――――――――――――――――
前回はロースペックPCで画像を生成する方法を構築しました
( https://www.chichi-pui.com/posts/8caa5875-0378-436a-a2af-369d1839f83e/ )
しかし思ったのです。最近の学生はパソコンなんて持っていないのでは
だけどスマホは持っているでしょう
AI画像のローカル生成に興味を持っているあらゆる人が生成できるように、
スマホで画像生成する方法を模索しました
最初はAndroid上でUbuntuが動くようにしてLinux用のStable diffusionを動かせばいけるかなと思いましたが、メモリが足りなくなることが目に見えています
なので止めました
そこでAndroidで直接Stable difusionを動かす方法を探しました
スマホからクラウドサービスに接続して画像生成するサービスはたくさんあるのですが、ローカル生成となると実例は少ないです
有志の方がアプリを作ってくれていたので利用します
SDAI (Stable Diffusion Android Implementation)
( https://github.com/ShiftHackZ/Stable-Diffusion-Android/wiki/Local-Diffusion )
スマホで上記のURLを開いて、「GitHub Releases APK」のリンクから「sdai-full-release-0.6.5.apk」を選択してインストール
野良アプリなのでダウンロードと起動は自己責任でお願いします
Playストアにも「Stable Diffusion AI (SDAI)」の名前であるのですが、あちらは規約の関係で機能限定版らしいです。なのでGitHubのものを使います
アプリを起動
このアプリはクラウド生成とローカル生成の両方ができるようです
使いたいのはローカル生成なので、「configuration」の画面でメニューの下の方にある「Local Diffusion Microsoft ONNX(Beta)」を選択
モデルをダウンロードする画面になるので、アニメモデルで1GBの「aniflatmix」を選択してダウンロード
ダウンロードし終わったらそのモデルを選択して次に
画像作成画面に切り替わります
・「Text to Image」の設定
SD Model : aniflatmix
Prompt : 任意のプロンプト
Negative Prompt : 任意のネガティブプロンプト
Width : 256
Height : 256
(自分の環境では画像サイズが256 x 256を超えるとアプリが落ちてしまうので、このサイズが作れる限界の大きさでした)
Sampling steps : 40 (品質の低さをステップ数を増やすことで少しでも補っています。早く生成したいなら20で)
CFG Scale : 7
「Imagine」をタップで画像生成開始
10分38秒で画像生成できました
何度も生成していると、スマホの裏面が使い捨てホッカイロぐらい熱くなります
スマホの寿命を縮めていると思うので、ぶっちゃけ今回の生成はお勧めできません
試すとしても、昔使っていた壊れてもいいスマホで生成するぐらいがいいと思います
まあポケットの中で画像生成ができたり、
電源が無くて電波が届かない場所でもソーラーパネルとモバイルバッテリーを組み合わせてスマホで画像生成できるのはロマンがあると思います
――――――――――――――――――――――――――――――――――――――――
2024年12月12日追記
ロースペックでStable Diffusionを動かそうとする研究者はけっこう多いようで、色々な人が研究していました
CPUでもOK,はじめてのローカル画像生成AI
https://www.docswell.com/s/kapper1224/5WWE9R-2024-08-04-170351
このスライドではAndroidなどの様々なOSでの動作のほか、ロースペックでの動作などさせていて、ソフトウェアも知らないものがたくさん紹介されていました
Stable Diffusionのモデルを量子化して画像生成する
https://note.com/educator/n/nd3bc4aed5195
こちらではStable Diffusion.cppを利用してモデルの量子化をしていました
OnnxStream
https://github.com/vitoplantamura/OnnxStream
こちらではRAMが512MBのRaspberry Pi Zero 2で Stable Diffusion 1.5を動かすことができるらしいです
1ステップ約26分かかるとのこと
高度に処理を分割しているようです
https://u-labs.de/portal/ki-bilder-auf-dem-raspberry-pi-mit-onnxstream-stable-diffusion-generieren/
https://togetter.com/li/2416959
こちらでインストール手順が説明されているみたい
コマンドプロントとか、利用方法がさっぱりです
絵の品質が低くて、何が写っているかぐらいしか判別できないね
――――――――――――――――――――――――――――――――――――
前回はロースペックPCで画像を生成する方法を構築しました
( https://www.chichi-pui.com/posts/8caa5875-0378-436a-a2af-369d1839f83e/ )
しかし思ったのです。最近の学生はパソコンなんて持っていないのでは
だけどスマホは持っているでしょう
AI画像のローカル生成に興味を持っているあらゆる人が生成できるように、
スマホで画像生成する方法を模索しました
最初はAndroid上でUbuntuが動くようにしてLinux用のStable diffusionを動かせばいけるかなと思いましたが、メモリが足りなくなることが目に見えています
なので止めました
そこでAndroidで直接Stable difusionを動かす方法を探しました
スマホからクラウドサービスに接続して画像生成するサービスはたくさんあるのですが、ローカル生成となると実例は少ないです
有志の方がアプリを作ってくれていたので利用します
SDAI (Stable Diffusion Android Implementation)
( https://github.com/ShiftHackZ/Stable-Diffusion-Android/wiki/Local-Diffusion )
スマホで上記のURLを開いて、「GitHub Releases APK」のリンクから「sdai-full-release-0.6.5.apk」を選択してインストール
野良アプリなのでダウンロードと起動は自己責任でお願いします
Playストアにも「Stable Diffusion AI (SDAI)」の名前であるのですが、あちらは規約の関係で機能限定版らしいです。なのでGitHubのものを使います
アプリを起動
このアプリはクラウド生成とローカル生成の両方ができるようです
使いたいのはローカル生成なので、「configuration」の画面でメニューの下の方にある「Local Diffusion Microsoft ONNX(Beta)」を選択
モデルをダウンロードする画面になるので、アニメモデルで1GBの「aniflatmix」を選択してダウンロード
ダウンロードし終わったらそのモデルを選択して次に
画像作成画面に切り替わります
・「Text to Image」の設定
SD Model : aniflatmix
Prompt : 任意のプロンプト
Negative Prompt : 任意のネガティブプロンプト
Width : 256
Height : 256
(自分の環境では画像サイズが256 x 256を超えるとアプリが落ちてしまうので、このサイズが作れる限界の大きさでした)
Sampling steps : 40 (品質の低さをステップ数を増やすことで少しでも補っています。早く生成したいなら20で)
CFG Scale : 7
「Imagine」をタップで画像生成開始
10分38秒で画像生成できました
何度も生成していると、スマホの裏面が使い捨てホッカイロぐらい熱くなります
スマホの寿命を縮めていると思うので、ぶっちゃけ今回の生成はお勧めできません
試すとしても、昔使っていた壊れてもいいスマホで生成するぐらいがいいと思います
まあポケットの中で画像生成ができたり、
電源が無くて電波が届かない場所でもソーラーパネルとモバイルバッテリーを組み合わせてスマホで画像生成できるのはロマンがあると思います
――――――――――――――――――――――――――――――――――――――――
2024年12月12日追記
ロースペックでStable Diffusionを動かそうとする研究者はけっこう多いようで、色々な人が研究していました
CPUでもOK,はじめてのローカル画像生成AI
https://www.docswell.com/s/kapper1224/5WWE9R-2024-08-04-170351
このスライドではAndroidなどの様々なOSでの動作のほか、ロースペックでの動作などさせていて、ソフトウェアも知らないものがたくさん紹介されていました
Stable Diffusionのモデルを量子化して画像生成する
https://note.com/educator/n/nd3bc4aed5195
こちらではStable Diffusion.cppを利用してモデルの量子化をしていました
OnnxStream
https://github.com/vitoplantamura/OnnxStream
こちらではRAMが512MBのRaspberry Pi Zero 2で Stable Diffusion 1.5を動かすことができるらしいです
1ステップ約26分かかるとのこと
高度に処理を分割しているようです
https://u-labs.de/portal/ki-bilder-auf-dem-raspberry-pi-mit-onnxstream-stable-diffusion-generieren/
https://togetter.com/li/2416959
こちらでインストール手順が説明されているみたい
コマンドプロントとか、利用方法がさっぱりです
呪文
呪文を見るにはログイン・会員登録が必須です。
イラストの呪文（プロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
イラストの呪文（ネガティブプロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
4件のコメント
コメントをするにはログインをする必要があります。
スゲー スマホでも動くんだ😄
動いちゃいました
品質は低いけど、春のピクニックで女の子がシートの上で座っている絵とか、プロンプト通りの絵を作ってくれて嬉しくなります
モデルをFP8などに変換して容量削減する技術があるようで、興味があります
返信先: @
おおお、スマホローカルでも稼働はさせられるんですね。
しかしほんと寿命縮みそうで試す勇気は無いかもw
良い感じのアプリがあって良かったです
この低画質な画像は、なんか生成していくうちに愛着が出てきました
スマホが熱くなるのはヤバいですね。最初はメインスマホで試していて、これ壊れたらシャレにならないなと思って、壊れてもいいスマホに切り替えました
返信先: @