この話は女子も沢山出るからちょっと違うかも
例えば学園物で学校に主人公と男女がそれぞれ複数いたらハーレムとは呼ばれないじゃん
貴族院とか設定はほぼ学園物だし