C++なんだし、Qt を使ってみては?
Xlib を直接使うと自前ライブラリを作りたくなる罠だし。