そうよ。プログラム(Xクライアント)が走って計算処理を行うのはUNIXマシン上。
Xサーバは送られてきた命令にしたがって線を引いたり文字を書いたりするだけ。

でかい画像とか動画とか3Dとかで表示の負担が大きいときはネットワークと
Xサーバ側の能力も問題になるだろうけど(たぶんネットワークが足りなくなる)。