https://docs.unity3d.com/ScriptReference/MeshCollider.html

Colliderはboundsプロパティを持ってることを考えたら、その程度の高速化はすでに内部処理でやってると思うんだが
返って遅くするだけ