削除っていうのはエディター内操作での削除だよね？
エディター内だったら、ファイルを消すって動作をする前に、
一旦ファイルを読み込みに行って、初回キャッシュ作成みたいな感じ事してるから重いんだと思う

そのアセットを消しても支障無いんだったらWindowsのファイル操作で消してもまあ大丈夫だとは思う・・