うーん、タッチの方の処理が重いのかもしれませんね。それで移動距離差で公式が出してる遅れ仕様が現れてるのかもしれません。
タッチ処理とマウスの処理で、時間計測して解析する方法はあると思いますが、私はそこまで出来ないので現状はお力になれそうにないです。申し訳ないです。

とりあえず、transform.positionで代用して、先を作るのをお勧めします。