うーんあなたの最初の文が全てじゃない？
帰れる実家がなかったとしても子供に不利益なら離婚するかなんかすると思うよ
結局お前も我慢しろと強いるってことは子供が親の一部になっているってことだよ
子供とは別人格別の人間である、庇護すべきであると思えたら違う道があるんじゃないかな