俺は1オブジェクトにMeshは必ず1つだけという制限をつけてるよ。
1つのXFlieに複数Mesh（アニメーション付き）がある場合は1つのSkinMeshに変換する。
そしてFrameクラスとMeshクラスに分けて、ツリー構造はFrameに持たせる。
動作としては、最初Frameクラスにアニメーション時間を与えて行列配列を得る。
それをMeshに与えてSkinningして表示って感じ。