人手不足の業界で働いてるから正社員になるか勤務時間増やして欲しいって言われた

私「お誘いは嬉しいけど子供がまだ小1と年中で実家の手助けもないから当分無理です」
上司「子供はほっといてもちゃんと育つよ！定時に帰れば夕飯の支度も大丈夫！買い物と掃除は休日にまとめてするの！」
私「正直今の世帯収入で暮らしていけてるしゆとりをもって子育てしたいんです」
って正直に言ったら微妙な顔されたわ
上司はバリバリ働きながら2人の子供を育て上げた女性なんだけど私の言い方気にさわったかな
怠け者だと思われたかなってあれからずっとモヤモヤしてる