とっとと実装したほうが早いかと

まずもぐら代わりの球体を適当にランダムに表示するのと、ハンマー代わりの球体を表示して
ハンマーをキーボードで動かせるようにして、もぐらと衝突判定してもぐらを消す処理を実装

つぎに100均ゴーグル+スマホとかでもいいから手元の機器でVR表示できるか試す

最後にキーボードだけでなくゲームパッドとかVRコントローラーとかでハンマーを動かせるようにする