オブジェクトにColliderなどを設定してボタン機能をつけたときの
Layer設定について質問です

購入したアセットを使うときに、
オブジェクトのLayerをそのアセット用のLayerにする必要があるのですが、
オブジェクトにボタン機能をつけて
オブジェクトのLayerがUIDefaultのままだと、
再生してそのオブジェクトをタッチすると反応するのに
オブジェクトのLayerを変えると反応しなくなります
どうすればいいのか教えてください