性別うんぬんではなく、その人によるとしか言えないと思いますね。
そこの受け取り方は。
別に失礼だとは思いませんが、人によってはあまり触れられたくない話題かもしれませんし
印象を下げる可能性もあるので、聞き方には少し配慮したほうがいいかなと思います。
ドストレートに聞いたりせず、その質問が自然な感じになるように計画的に持っていったり。