というか、血族で言うなら鎌倉幕府も室町幕府も将軍は清和天皇の男系子孫だったんだから、日本の統治の実権はずっと天皇家が握っていたと言えなくもない。
なお、徳川家は家系図を捏造して清和源氏の子孫ということに名目上はなってるらしい。