たぶん各PlaneにアタッチされたColliderが悪さしてるんだろうね。
どうしてもPlaneを4枚使いたいならCollider1枚を4枚分のサイズへ広げるといいよ。
そういう挙動の把握もチュートリアルの裏目的みたいなもんだと思うw