リスタートを実装しているなら、わざわざDestroyしなくてもいいんでは？と思うけど

仮にUnityの不具合で
instaniateされたゲームオブジェクトが継続中のHorizontalを受け付けないのだとしても、Destroyせず最初のプレイヤーのゲームオブジェクトを使い回せばいいんでは