20年ほど前に読んだ絵本です。
・家に住んでいる女の子とその女の子が怖がっている魔女
・家の倉庫あるいは地下の物置へ降りる階段があり、
その下に（階段の裏の空きスペース？）魔女が住んでいる。
・階段は奥板がなくオープンになっているため、隙間から魔女がいるのが見える
・物語のラストには魔女はいなくなっている
某知恵袋サイトにも同じ本を探している投稿がありました。
私自身も「階段の下のマジョマジョ」のようなタイトルだと思ったのですが・・・
カラーはカラフルな感じでした。