画像生成AIを作る

**デフォルトの名無しさん** · 2025/01/19(日) 13:52:21.32

Pytorchなどの既存の機械学習用ライブラリを使わずにC++とCUDAを使ってゼロから画像生成AIを作っている
画像生成モデルにはGAN、VAE、拡散モデルなどがあるが
巷で話題のStable DiffusionというのはVEAと拡散モデルを両方取り入れたもの
ただし、Stable Diffusionにはprompt embeddingというユーザーの入力であるテキストプロンプトをニューラルネットワークに埋め込む構造が存在しているが
自分が作ろうとしているのは単純に正規分布の乱数列を入力すると任意の画像が生成されるという改造版のStable Diffusionなので
prompt embeddingを使わない方向で行こうと思う

◆FEfDUERNdI · 2025/01/22(水) 19:22:28.21

数日VAEをトレーニングしてみたが
最構築された画像はどれも>>10のようなぼやけているものばかり
ChatGPTに聞いてみたところ、どうやらMSEの短所らしい
MSEはピクセル単位で誤差を判断するため、キャラクターの輪郭など全体的な特徴を評価するのが苦手
全体的な誤差を評価するために、画像の類似度を示せるSSIMがいいらしい
合っているかどうかわからないが、とりあえずMSEとSSIMを組み合わせて使おうと思う

**デフォルトの名無しさん** · 2025/01/22(水) 21:27:34.18

stable diffusionの画像生成プロセスを観てると、夢ん中で作られていく感じに似てるとおもた

◆FEfDUERNdI · 2025/01/22(水) 22:07:43.80

>>15
画像に一歩ずつノイズを加えていくと、最終的には画像自体が完全にノイズになる
その逆過程を実現するのが拡散モデルです
ランダムなノイズから認識できる画像になっていくのは
確かに夢に似ているね

**デフォルトの名無しさん** · 2025/01/24(金) 11:01:44.72

VAEから作ってんのか
なかなか真面目じゃん

◆FEfDUERNdI · 2025/01/24(金) 18:06:04.80

>>17
ありがとうございます
一応C++標準ライブラリとCUDA以外のライブラリは使わないつまりなので
VAEを作る前の段階として
tensorや主要なニューラルネットワークの層も自作しています
ただ、png画像の読み込みと出力はopencvを使い、グラフのプロットはgnuplotを使っています
どちらも複数のＯＳに対応しているので、環境構築は非常に簡単です

**デフォルトの名無しさん** · 2025/01/24(金) 18:36:35.48

ソース公開する気ないならただの日記だよ？

◆FEfDUERNdI · 2025/01/24(金) 20:03:37.86

ソースは完成したら公開する予定です
readme.mdはまだ書いていないのと、ライセンス関係はまだよくわからないので
今は公開できないです

**デフォルトの名無しさん** · 2025/01/24(金) 21:58:30.76

ただの統失の日記スレ

◆FEfDUERNdI · 2025/01/24(金) 23:22:56.22

そうですね
個人日記なら別にスレを建てる必要はないですね
お騒がせしてすいませんでした

**デフォルトの名無しさん** · 2025/04/29(火) 00:25:24.70

どう？開発進んだ？