339です
すみません自己解決しました。
敵キャラのスクリプトにSceneManager.LoadScene(0);と書いており
敵キャラの数だけ重複してシーンをロードしていて重くなってたみたいです。
失礼しました。