念のために補足しておくと
vnc の Xサーバ使うのに Xorg のサーバが起動している必要はない

ディスプレイ繋いでいないということは
その本体のグラフィックス出力を未来永劫使わないと
いう意味なのでXorgを起動する必要がそもそもない

Xorg起動しないというのと
Xorgインストールしないというのは違うので
起動しないのハム問題