vncserverがXを使うものだと知らないようだな。
vncクライアントでつないだら普通にX使えるよ。
x11vncはvncクライアントと本物のディスプレイの両方でXを使いたいときだけ使うものだ。