固定しちゃうっつうかFixedUpdateで計算すれば良いだけ。
FixedUpdateでやるならフレーム単位で計算して良い