illustrious用のloraを作っているのですが、なんかおかしな効き方をしてしまいます
ロボ少女の画像10枚程度でloraを作って使用→トランスフォーマーやガンダムみたいな画像が出てくる
ピカチュウの画像10枚程度でloraを作って使用→やたらカスミが出てくる
みたいな感じです
プロンプトが少ないうちは教師画像に近いものが出ますがプロンプトを増やしていくとおかしくなります

Ponyでは同じ画像とキャプションで作ってこんなこと無かったのですが何かパラメータ設定を変える必要がありますか？
テキストエンコーダとUnetの配分辺りかもとは思うのですがいろいろ試すにも時間が掛かり…