NavMeshAgent.SetDestinationにクリック位置入れて移動させてるんだったけ?
もしかしてフィールドが広すぎるとか…かな