IgnoreCollision使うと特定のオブジェクトだけで済むしレイヤーを気にする必要もないのでオヌヌメ
https://docs.unity3d.com/ja/2019.4/ScriptReference/Physics2D.IgnoreCollision.html