透明な板敷けば良いのでは
ドラッグ開始  clickedObjectにレイ飛ばしたオブジェクトを入れる。clickedObjectのコリジョンを消す
ドラッグ中 clickedObjectが空でないならclickedObjectをレイ飛ばした位置に移動。
ドラッグ終了 clickedObjectにコリジョンを復帰してclickedObjectを空