https://news.mynavi.jp/article/windows-477/
を参考にすると、
まず以下のアイコンを変えたい対象の拡張子のキーのProgIdの値を確認する
HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\FileExts\.拡張子\UserChoice

対象全部のProgIdの値(例えばmp3にWindowsMediaPlayerが関連付けられてたらWMP11.AssocFile.MP3とか)をすべて取得していく
ここで、もしProgIdの値が拡張子で共通だと、そのアプリに関連付けられたアイコンは普通の方法で変更できないので
アプリの関連付け自体を変える必要がある

次に、
HKEY_CLASSES_ROOT\(ProgIdの値)\DefaultIconの(既定)の値の参照するアイコンを変えてみる
アイコンキャッシュをクリア(またはファイルを削除)、エクスプローラーを再起動してアイコンが変わるか確認する