【StableDiffusion】AI画像生成技術8【Midjourney】
レス数が950を超えています。1000を超えると書き込みができなくなります。
入力されたテキストから画像を生成するAI技術に関して語るスレです
StableDiffusion： google colabやローカル環境で実行可能なAI画像生成
Midjourney： 有料サブスクで商用利用まで可能なAI画像生成サービス
（DALLE・Craiyon・NovelAIの話題もOK）
★★★ 注意 ★★★
ここは既存のAI画像生成サービスの”””具体的な”””技術や動向について語り合うスレです
漠然としたAI画像生成の未来や、イラストレーターの職権侵害等の一般的な話題は明確に【禁止】します
（以下のスレッドへ移動してください）
【Midjourney】AI関連総合10【StableDiffusion】
https://mevius.5ch.net/test/read.cgi/cg/1665312817/
AIイラスト 愚痴、アンチ、賛美スレ part6
https://mevius.5ch.net/test/read.cgi/illustrator/1665161807/
テンプレまとめ
https://rentry.co/zqr4r
編集コード「5ch」
前スレ
【StableDiffusion】AI画像生成技術7【Midjourney】
https://mevius.5ch.net/test/read.cgi/cg/1664695948/ xformersのおかげかvram12gbでTIバッチサイズ2で回せるようになっていた
dreamboothと比べて気軽に組み合わせられるのは魅力だし使っていきたいね SDやWDってfp16だとckptは2GB程度だけど
出回ってる追加学習したやつってprune済みfp16でも4GB近くある理由って何なの？
SDはともかくWDも同じ追加学習なのに2倍近くサイズ差があるのが謎なんだけど >>852
謎なんだけど、NMKDで剪定しちゃえば同じ生成してくれる2GBのモデルは作れる 追加学習なんだが
破綻するステップ数を確認したら
最初からやり直して破綻する前に止めるってやり方で合ってる？ >>853
prune済みfp16でも小さくなるって事？
どうやればいいの？NMKD使った事なくてよく分からん hypernetworkのトレーング方法ようやく要領が掴めてきた
Tiよりは大分いいな 学習系もう全然わかんなくなっちゃった、TIはやったことあるんだけど
hypernetworkの1111版を説明してるサイトとかない？
https://kirarico.net/memo/2174/
これの
> できたファイルはtextual_inversionのフォルダに入れられるのでそこからembeddingsのフォルダにコピーし試してみて何STEP目のptファイルを残すかを厳選する
ptファイルって駄目なのを自分で消したりするものなの？
途中経過で作られる画像自体には意味ないよね？ >>855
なんか知らんけど、fp16に剪定すると2,083,065KBになる。
waifuの公式剪定モデルはfullとちょっと結果が変わるけど、
NMKDで剪定するとなんでか変わらない。他の剪定ツールの事情は知らない
使い方
NMKDをインストールして起動。
右上にアイコン並んでるメニューあるから、develoer toolsを選んで、
さらにpruned(trim)modelsというのを選ぶ
プルダウンからfp16を選択、Prune!を押す。
ちょっと待つ。以上.
で、NMKD1.6でDBが動くようになった。VRAM24GB必要だけど >>858.859
ありがとう、どちらも試してみるわ Hypernetworkでdreamboothみたいに少ない枚数で学習したい
流石に5-6枚では無理か？ ようやくStable Diffusion web UIがApple Siliconで動作したので情報共有しておく
公式のインストール手順だと依存関係のインストールに問題があってエラー吐く
解決方法は以下のURLに書いてるけど、ターミナルで
bash -l -c "conda activate web-ui; pip install jsonmerge einops clean-fid resize_right torchdiffeq lark gradio fastapi omegaconf piexif fonts font-roboto pytorch_lightning transformers kornia realesrgan scunet timm"
を実行すると依存関係の問題が解決する
https://github.com/sd-webui/stable-diffusion-webui/issues/1518
あとは、run_webui_mac.shを実行するだけ
ここからは質問なんだけど、公式の依存関係に問題のあるシェルスクリプトがこれなんだけど
https://github.com/dylancl/stable-diffusion-webui-mps/blob/master/setup_mac.sh
104行目の
pip install -r requirements.txt
が機能してない理由わかるAnaconda環境に詳しい人がいたら教えてほしい
これ自分もmacのデフォがzshだからパス通ってなくて、bashからcondaコマンドでインストールしなきゃいけないんじゃないかと思って試してみてたんだよね
pip install jsonmergeと明示するとインストールできて、pip install -r requirements.txtだと駄目な理由知りたい
ちなみに、requirements.txtにはjsonmerge 1.8.0についてちゃんと記述されている
次にエラー吐いたときは自己解決できるようになりたいす auto1111だけど、2-3日前はgit pullできたのに
さっきやろうとしたらエラーになっちゃった
モデファイしてないのにモデファイ済みだからアップデートできないと出る
これ強制上書きにしちゃっていいのかな NMKD Stable Diffusion GUI 1.6.0がリリースされて、DreamboothのGUIサポートらしい
VRAM24GB必要なので、3090か3090Tiか4090(とQuadro)しか使えないけど 当たり前のようにVAEをかます手法になってきたなｗ hypernetwork異常なほど過学習しやすいな
バラ付きの少ない顔画像だと5e-06で3000stepくらいで既に崩れ気味になってくる >>857
hypernetworkもTIと同じで過学習すると再現度が下がるからある程度ステップが経過したら
途中経過のptファイルで試して丁度いいステップ数のデータを探せってことでしょ
ちなみにembeddingsじゃなくてmodels/hypernetworksフォルダだけど >>865
405MBしかないautoencoder_kl-f8-trinart_characters.ckptはどう使うものなのかな >>869
vaeだろう？ waifuと同じ感じの
ファイル名も同系列だし HypernetworksはGithubにあったこれで大体うまくいってる
5e-5:100, 5e-6:1500, 5e-7:10000, 5e-8:20000 とりんもNAIにライバル心バッチバチだな
まあ、Waifuと違ってサイトの構成そのものが同じと言っていいから余計にそうなるんだろうがｗ そんなもんだよな、5e-6で1万回とか回したらすぐ壊れるわ Embeddingsでキャラ学習させてるんだが
テストプロンプトでmasterpiece, best quality, embeddings名みたいな感じにして回すとステップ進むにつれて粗い？塗りが古い？感じになっていっちゃうんだが
これってキャラ学習すると同時にデータの絵柄も学習されていっちゃっててmasterpieceよりもそっちの絵柄の方が強く出ちゃってるってこと？
作者気にせず画像集めてるんだが偏っちゃってるのかな >>870
models\Stable-diffusion に入れればいいんですか? ちなみにTIのBatch sizeって増やしたら必要スペックがその分単純に割り算で減るって認識で良い？
バッチサイズ1で20000ステップとバッチサイズ2で10000ステップは大体同じになるのかな
1Epochの数も半分になるし合ってると思うんだが >>844
medvramのあるなしでメモリ使用量と速度がどう変わるかやね SDの拡散モデルって2次元画像とワード類の関連付けから2次元画像への推測って感じで
対象を3次元的に解釈してどうこうみたいなことはしてないって感じの理解でいいんかな
例えば りんご,俯瞰視点 みたいなワードで生成を試みるとして
参照するのは りんご や 俯瞰視点 とタグ付けされた2次元画像の描かれ方であって
りんごを3次元的に理解して角度変えて描画してるわけではないみたいな 3070tiの俺氏、vram8GBでのDreamboothのハードルの高さに憤死
2060でも買ってこようか真剣に考えてる アウロリ製造目的でもないならdreamboothはcolabでよくね ドリブス等のファインチューニング？て教師画像何枚くらいが適正ですか？
顔だけ5枚くらい放り込んで作ってもらったら微妙な出来だったけど…
顔や全身の画像を含めて100枚くらい入れるべきなんでしょうか >>870
すまん、vaeについていけてない。どう使えばいいの？ NAIこれもしかして規制入った？
NSFWって入力してもビーチクもコーチンも出てこないんだけど
もしそうならもう使う理由が無いんだが colab環境でdreambooth回すならwaifu1.3を使うしかないのか >>888
autoencoder_kl-f8-trinart_characters.ckpt
を
trinart_characters_it4_v1.vae.pt
にリネームして、trinart_characters_it4_v1.ckptと同じようにmodels\Stable-diffusionに入れればいいのかな
NAIも同じようにanimevae.ptを[novelaiのckptのファイル名部分].vae.ptにリネームしてmodels\Stable-diffusionに入れるとかあったけど、これしなくてもアスカテストは通ったんだよね
VAEはよくわからんがやっておこう とりんの新しいやつ使ってみたが、やっぱり手はダメか。
https://i.imgur.com/lBJTIWH.png
しかしNAIになれてしまうとプロンプト開発キツいなー。こんなにじゃじゃ馬だったかな とりんのオープンは言ってみれば新世代の宣伝用の古いやつだからな
まあ、ある程度劣るのはしゃーない NAIも裏で入ってる優秀なネガティブプロンプトが無いとわりと品質落ちるぞ >>878
立体要素はないと思う。ただ切り抜きみたいな事はやってる
この画像で言うとこの部分がリンゴだよ、みたいな >>901
ごめん、このwgetのコマンドは間違い。
vae.ptが ckptと同じ場所、
stable-diffusion-webui/models/Stable-diffusion/
にないとダメだわ。
こんな感じになったら、VAEがロードされてるはず。
Loading weights [d64dab7f] from /content/stable-diffusion-webui/models/Stable-diffusion/trinart_characters_it4_v1.ckpt
Global Step: 101319
Loading VAE weights from: /content/stable-diffusion-webui/models/Stable-diffusion/trinart_characters_it4_v1.vae.pt
Applying cross attention optimization (Doggettx).
Weights loaded. 私もHypernetworkが上手くいかないので教えてください。
キャラを学習させたいんだが、学習後、t2i実行しても全然反映されない。
下記手順でやってるんですが、どこがいかんでしょうか？
・使用ツール：WebUI 1111ローカル版、waifu1.3（NAI未使用）
・やりたい事：赤い髪の女性キャラ（AKAKO）を学習させたい
1.画像を20枚用意(紐づけるtextファイルの内容は「a woman with red hair」等)
2.空のHypernetworkファイル名を「AKAKO」で作成
3.5e-6、10000stepで学習。学習時のプロンプトは「AKAKO, 1girl, solo, white background」
>100step事に出力する学習途中、および完了時のimageでは赤髪の女性になっている。
4.学習完了後、settingタブのHypernetwork設定を「AKAKO」を指定してApply settingクリック
5.txt2imgでプロンプトを「AKAKO, 1girl, solo, white background」で実行
・・・学習した特徴のない（赤毛でない）キャラが作成されてしまう。
（「a woman, 1girl, solo, white background」でもだめ） >>903
5e-5、3000ステップを目処に試行する
キャプション生成はdeep danbooruを使う
学習用プロンプトのキャプションに 赤い髪 の指定を入れない
学習用テンプレートテキストの中身は、
[filewords]
anime screencap, [filewords]
ぐらいにしておく
自分ならとりあえずこんな感じで試すかも 新しいのは有料サイトで公開されてたやつの丸丸SD移植版だな。
ほんの少し前に有料サイトのAI絵描きのバージョンが上がったので、ところてん式に今まで有料だったのがモデルだけフリーになった感じ
ゲームの新作発売記念に前作無料公開みたいな？ xformers 入れてる当初はそうでもなかったが
最近は意地でも VRAM6GB位しか使わなくなった >>908
わかりやすい
得意分野は既存版とちょっと違うんだろうか
上手く使い分けられるといいな 偏れば偏るほど、実はノーマルSDの要素が結構重要だったことに気がつく
なんというか、NAIとかWD1.3からは結構色々な要素がスポイルされてんだよね
abbeyがまともに認識されなくなってるとは思わなんだ 手とかの細かい部分を修正したいから
waifu1,2に色々混ぜたいけど何がいいのか分からない
オススメ教えてくれ >>912
記憶を上書きしてるようなもんだからな
まぁ全てを内包したモデルなんか作られても一般人には動かせないんでしゃーない
色々マージして自分の用途に対してのベストを見つけるしかないな ブレンド以外にもi2iで段階ごとにモデル変えてフィルタ がわりに使うとかもあるしな
とにかく可変要素がprompt以外にも馬鹿みたいに広がってるので、最適値探しが大変だわ Stable Diffusion Prompt Generatorが使えなくなりました Stable Diffusion Prompt Generatorが使えなくなりました
自分だけでしょうか？
もしかしてサービス終了したのでしょうか？ 上の方でNAIのデータを元にdreamboothしてるっぽい人がいるけどあのデータのckptからDiffuseに変換できます？
試してみたけど自分の環境だとSDで上手くいくのがNAIだとエラー吐いて完走しない diffusers/scripts/convert_original_stable_diffusion_to_diffusers.pyで
config.yamlとfinal-pruned.vae.ptをfinal-pruned.ckptにおいて
python convert_original_stable_diffusion_to_diffusers.py --checkpoint_path=model/final-pruned.ckpt --dump_path=model_output
で出来た。vaeが変換できてるかは知らん しいて言えば、特にネガティブのところはこのスレで散々アレコレやったのを長大に展開してるだけで資料的価値が無いというか ついていけないではなく、学習とか使わなければいいんだよ
基本萌え絵エロみたいなののクオリティを爆上げしたい人たちが
欲望をエネルギー源に先陣切って爆走（暴走ともいう）してるだけなんだ >>778 だけど、過学習の傾向があったから
学習率を1e-6から6.5e-7に変更して、教師画像を92枚に厳選、正則化画像は1104枚、14000ステップ学習させた
sks 1girlとした時はあまり違いがわからないけど、他にプロンプト追加したときに柔軟に対応してくれるようになった HyperNetWorkを利用すればわりと簡単に狙った画風に自由にコントロール出来てしまって怖いな
顔だけ自分の絵柄にしたり背景は背景絵師からパクったりで10-20枚のコラ画像から自由にコントロールできる
これ無限に悪用可能だろ、、、 そっくりそのまま学習元の絵師と同じにならないから逆にいいと思う
実質絵柄が無限になって個性が出る >>926
成功事例ほんと参考になってありがたい
教師データ、顔のクローズアップは何割ほど？
欲張って全身絵多めにしてるんだけど、顔の生成がいまいちで悩んでる i2iで使う前提の顔特化HN作成して顔だけそれで切り抜いてi2iの可能性
誰かやって♡ ワイはデータセット集めるのめんどい おいおい、1111版のsettingsにLocalizationなんて設定項目ができてるぞ
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Localization
によると下の通り
Creating localization files
Go to settings and click Download localization template button at the bottom.
This will download a template for localization that you can edit.
英語と日本語できる人よろしくたのむ hypernetworkに俺が自分で描いた顔の絵4枚食わせるだけで
生成される顔の品質が大幅にアップして戦慄する
これを他人の絵にやり放題だっていうんだから絵描きはしぬしかないわ >>919
WinとUbuntuで試したのですがどちらもin loading state dictで同じエラーを出してしまいました
もし原因が分かれば正しい方法をご教示いただけないでしょうか
(1でやったとき)
https://i.imgur.com/PAzwP4r.png
(2)ckptを解凍してそのフォルダ内に入れてみたのですが…
https://i.imgur.com/9WM3ZV4.png
novelaileak/stableckpt/animefull-final-pruned/model.ckpt→model/final-pruned.ckpt(1)→解凍(2)
novelaileak/stableckpt/animefull-final-pruned/config.yaml→model/config.yaml
novelaileak/stableckpt/animevae.pt→model/final-pruned.vae.pt 引数に以下必要かも
--original_config_file=model/config.yaml ちなみに自分はwinでしかやってないからUbuntuは分からない
model_outputにdiffuser形式のフォルダが作られるはず エラー的にパス指定がおかしいんじゃね
スクリプトと同階層にモデル置いてファイル名のみを
引数に指定してみたら？ 無事アスカこんにちは出来たからやれる事広がった
xformersは途中buildするとこエラーでて断念 >>935
ありがとうございます。でも同じ結果になりました
使うファイルが根本的に違うとかではなさそうで安心したのでもう少し調べてみます
出力結果（長文失礼します
(env) user@user-virtual-machine:~/diffusers/scripts$ python convert_original_stable_diffusion_to_diffusers.py --checkpoint_path=model/final-pruned.ckpt --original_config_file=model/config.yaml --dump_path=model_output
Some （略sdv1.4を変換成功したときも出たやつ
- This IS expected（略
- This IS NOT expected （略
Traceback (most recent call last):
File "/home/user/diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py", line 687, in <module>
text_model = convert_ldm_clip_checkpoint(checkpoint)
File "/home/user/diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py", line 609, in convert_ldm_clip_checkpoint
text_model.load_state_dict(text_model_dict)
File "/home/user/diffusers/env/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1604, in load_state_dict
raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for CLIPTextModel:
Missing key(s) in state_dict: "text_mode（以外多数のファイル名略". >>929
8割ぐらいかな
でも全身絵を生成すると顔崩れるね
全身絵で顔が崩れるのはStable Diffusionからの仕様みたいなもので、Dreamboothでどうこうできる問題ではないと思う
全身絵を生成したいなら、ポーズと服が納得する全身絵を生成して、以下のリンクを参考に顔を修正するといいよ
https://dskjal.com/others/waifu-diffusion-workflow.html#fix-detail >>939
wget -q -O - https://raw.githubusercontent.com/huggingface/diffusers/main/scripts/convert_original_stable_diffusion_to_diffusers.py | sed -e '609s/text_model_dict/text_model_dict, strict=False/g' -e 697,698d > convert_original_stable_diffusion_to_diffusers.py
python3 convert_original_stable_diffusion_to_diffusers.py --checkpoint_path .\model.ckpt --dump_path .\converted hypernetworlで自分の絵学習させたら乳首の大きさに胸の尖らせ具合まで再現してきて怖い
もう今の時代に自分なりのこだわりとか意味ねぇな >>942
ありがとうございます
609行目のFalseのみを反映させたらエラーを出さずに変換できました
--- /home/user/diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py 2022-10-18 10:21:04.269283151 +0900
+++ /home/user/diffusers/scripts/convert_original_stable_diffusion_to_diffusers2.py 2022-10-18 16:14:28.611846408 +0900
@@ -606,7 +606,7 @@
if key.startswith("cond_stage_model.transformer"):
text_model_dict[key[len("cond_stage_model.transformer.") :]] = checkpoint[key]
- text_model.load_state_dict(text_model_dict)
+ text_model.load_state_dict(text_model_dict, strict=False)
return text_model たぶん、SD2.0を自社サービスに組み込んだあとに宣伝として放流するんじゃない >>941
丁寧にありがとう！
顔を重点的に学ばせて全身絵のときは手直し上等で挑みます NAIのNovelAI Diffusion Anime (Curated)でしか似ないキャラがいるんだが
あのモデルでエロもやれたら最高なのになぁ レス数が950を超えています。1000を超えると書き込みができなくなります。
