衝突の判定だけUnityに任せるか
物理マテリアル設定して誤魔化すかじゃない?

あと摩擦は0にしてる?