衝突判定は、ゲームの中でも描画処理に次いで重い。
そんなものを、unity側で勝手に組み込まれて処理されてたら劇遅。
unity内では、コリジョン設定されたもの同士が近けりゃ判定処理とか最適化は自動でしてるとは思うが。