うちの環境(Windows10 Home)だと、上書き保存ではフォルダ消せるけど
別名保存で上書き保存するとフォルダが消せなくなる

CLIP STUDIO PAINTとPhotoshopも同様な症状が起きるので
何かのライブラリに依存しているのかもしれない

ちなみにSAI ver.1やSAI ver.2では別名保存で上書き保存してもフォルダ消せる