流れを読まずにすいません。

フェイクありなので辻褄の合わない点はスルーでお願いします。
↓
某ファミレスで半年程パートしてます。
うちは子供がまだ幼稚園なので、(保育園は入れなかった。)
9時から14時のシフトでお願いしてます。
その旨面接の時にも言って一応了承して頂いたのですが、
他のパートさんはみんな子供を保育園に入れて働いているようで、17時までおk。
いつ上がるかは店側の都合というシフトで入ってました。
私が居る日は私が14時で必ず上がってしまうので忙しい日は迷惑なようで、
露骨に冷たく当たるパートさんや、
パワハラして来る社員さんも居ます。
みんな家庭の事情はあるのに後から来て一人だけ勝手な事をして迷惑掛けてる自覚はあるので、それは仕方ないと受け入れているのですが、
最近シフトが減り、今日社員さんから、
はっきりとは言いませんでしたが、
みんなと同じシフトで働いてくれないと迷惑だと仄めかす事を言われました。
みんなに迷惑掛けて社員さんからも辞めて欲しいよがしな事を言われてまで居座るのは心苦しいので他を探した方が良いでしょうか？
うちがたまたまそういう形態のシフトの店だったなら他へ行った方が良いと思うのですが、
どこもそんな感じならまた同じ事の繰り返しになるかな？と迷ってます。