ハウジングの繁栄度は資産設定の画面で設定中のアイテムを右クリック→出てきたメニューに外すってあるからそれを押せば外せるし自由に下げることが出来るんですよ
上げたら二度と下げれないというのは大嘘