Rigid bodyとごちゃごちゃになってる可能性あるな
とりあえずtag分けした範囲違うcollider付けてどれに接触したかで処理すれば簡単