Windows Explorerでフォルダ単位なら、手間は掛かるけど画像をアイコン化→アイコンの変更で
後はアイコン変更ソフト等でも、Windows 10は忘れたけど、11は標準機能で任意のフォルダ内の画像を
OS標準アイコンと半分重ねて表示してくれるので、ジャケット画像を入れておくとそこそこわかりやすい、ファイルはどうだろうね

ファイラー管理もいいけど、音楽ファイルは管理ソフトが扱いやすい