どのxrdpか知らんけど、少なくとも俺のC7（乾電池でも動く骨董品）mini-itxに
i386のBSD突っ込んでxorgxrdpでRDP鯖させるとめっさ遅い
ところがDebian（同じく32bit）だと結構パフォーマンスが改善される
VNCでディスプレイ:0をまんま飛ばす時とは訳が違うから
vfb関連の違いかvfbへの書き込みにアクセラレータが効くかどうかとか
xorgxrdpのビルドオプションの類の違いだと思う（超憶測）