縫いつけるのが確実だけど縫うの面倒なら飛んだり落ちばないようにクリップでとめるアイテムが100均で売ってるよ。
夏用の帽子99円で5点くらい買ったけどほとんどゴム付きだったけど秋冬ものの帽子だと西松屋に限らずゴムついてるの少ない気がする。