オブジェクトじゃなくて自分の移動方法だったのね。まったく分からなかった。
全体動かすのではなく視点移動するだろうね。
想像で考えると
・グリップを握った瞬間に自分の位置を保存
・握ったままグリップを動かした際の差分を取得
・離したらコントローラーを移動させた量だけ視点を移動させる

実際は手前に引き寄せただけの幅だとなかなか進まないかもしれないので増幅させる必要がありそう。あとはグリップ握ってるときも視点は自由に回転できるので移動方向の固定とか必要かも。