RigidbodyはfixedTimeのスケールで動いているので、
時間が飛ぶと、処理も飛んで、物理挙動が怪しくなります。

確かに、時間自体を停止した方が良いですね。