LoRA学習で色々オプティマイザーを試してるとprodigyは水面に映ったみたいに顔が歪むのは何だろう?
LRを1→0.5に下げても数百ステップから歪み始める