大日本帝国時代、侍従武官（長）たちの直属の上官・所属部署はどちらになりますか？

軍大臣に連なる系統なのか、参謀総長・軍令部長に連なる系統なのか。