>必ず最後にtime.timescaleを掛けてから足すようにするなど。
こ、これやぁ！！
参考書でよく見かけたのですが、あまり意味がないと思って実装時につけていませんでした！
これをつければ解決しそうな気がするのでちょっとaddforce部分に付け加えてこようと思います！

皆さん回答有り難うございます！