キネクトは一方からの映像解析だから実際の
三次元操作には適さない。リファレンス触った
ことあれば判ると思うし、資料も豊富。
http://download.microsoft.com/download/6/7/6/676611B4-1982-47A4-A42E-4CF84E1095A8/KinectHIG.2.0.pdf