1万のポータブルなら落ちる可能性の方が高そう。
5桁以上のヘッドホン使ってるなら確実にアンプの効果は分かると思うけどヘッドホン変えた方が大きく変わるし今の環境でノイズなどの不満が無ければ無理に変えるよりお気に入りのヘッドホン買う資金にした方が良いと思う。