パスの角括弧の扱いはpsの一番いけてないとこだからね
角括弧のみをエスケープする場合は次のようにする

move "C:\test\$hoge.*".Replace('[', '``[') "C:\test2"

もしくは-Filterパラメータが角括弧をワイルドカード扱いしないことを利用して

move "C:\test\*" "C:\test2" -Filter "$hoge.*"