ブレーキの実装なのですが
Rigidbodyのdragを5くらいするとすぐ止まるようですね
何か押してる間は5にするとかで対応できるかと思います。

移動はあくまでRigidbodyが制御しているようです