自己解決
https://akiblog10.com/unity-moving/

velocityを止める処理が必要だったようです