>>104
同じくレースゲームを作っている者です。

こちらのサイトの「オブジェクトの操作に関するTips」に載っているもののどれかで
ピッタリくっつけるように試してテストしてみてください
http://tsubakit1.hateblo.jp/entry/2015/04/21/031048

ちなみに車は最高速度どこまでやる予定ですが？
150km/h以下までなら今のやり方で大丈夫ですが
それを超えるような場合、特に200km/hを超える場合は
段差などの地面の凸凹にシビアに反応しはじめます

その場合はWheel Colliderを使った方が楽な可能性が出てきます
Wheel Colliderには地面との衝撃を吸収するバネの項目があります
ただし、この項目を適切に設定するのがまた苦戦しますが