自己解決した。

CollisionEnter 一回では法線の正確な値が取れなかった…