Unityみたいに、アクティブなオブジェクトと非アクティブなオブジェクトを切り替えられるようにして、
アクティブなオブジェクトだけを管理すれば、重くならずに済みそう

Unityだと、コライダー(判定枠)の接触時、お互いの接触イベントで、接触相手の情報を取得できるからね
接触相手のオブジェクト名、接触相手の座標とか