畳み込み層の設定がおかしいみたい。
畳み込み層外したら損失減った。