自己解決しました。
理屈がよくわかりませんが、!の直前に^^とすることでエスケープすることができました
echo RewriteCond %%{REQUEST_FILENAME} !-f >> !combined_directory!.htaccess
echo RewriteCond %%{REQUEST_FILENAME} !-d >> !combined_directory!.htaccess

echo RewriteCond %%{REQUEST_FILENAME} ^^!-f >> !combined_directory!.htaccess
echo RewriteCond %%{REQUEST_FILENAME} ^^!-d >> !combined_directory!.htaccess

お騒がせいたしました。