スプリング要らないならTransform.Translateでhit.pointに移動でいんじゃね

物理FPSコントローラー使ってるなら、移動が終わるまで
rigidbodyのisKinematicを入れておけばズリ落ちない