ありがとうございます
結論から言うと、消えるアニメーション終了時にオブジェクトは自動的に消滅していたようで
どんどんオブジェクト数が増えていくことはありませんでした

ですが、デバッガでオブジェクト数が見られることすら知らなかったので、今後ちゃんと確認するようにするのと
もしオブジェクトが蓄積していくことがあったら、教えていただいたように破壊していくようにします