跳ね返るのは当たり判定同士が埋まってる反動だろうから
当たった瞬間にRigidBodyをオフにして位置を固定先座標に合わせるとええぞ