年少男児のことで相談させてください

義実家隣に家を建て、引っ越しして１ヶ月ほどたちます
敷地内別居の形なので庭を通って行き来できます
息子は祖父母が大好きで、 家が近くなったのが嬉しいようでしょっちゅう遊びに行っていたのですが、最近それがエスカレートしていっています
まず朝起きてすぐおばあちゃんちに行きたいと言う→食事や着替えが終わってからねと声をかけるが全てすむとすぐおばあちゃんち
幼稚園バスの送りもおばあちゃんがいいと言いますし、幼稚園から帰ればすぐおばあちゃんち
今朝は祖母が不在で会えず機嫌が悪くなり、とうとうママは嫌だ、おばあちゃんの家の子になると言い出しました

下に乳児がおり余裕がなくあまり構ってあげられていませんし、いたずら等で叱ることが多いので優しい祖父母のところに行きたがるのも仕方ないのかもしれません
ただここまでおばあちゃんおばあちゃんとなり母を拒絶するような態度がとても悲しく、自分の子育てが間違っているのではと不安になっています
夫は祖父母宅が近くなり新鮮な気持ちもあるだろうし、祖父母も喜んでいるのだから好きにさせればいいという考えです
よくあることだととらえて好きにさせればよいのか、自分の子育てを考え直し接し方を改めるべきか悩んでいます
客観的な意見をお聞かせください