HPC向けはNVIDIAもAMDもHBMを積極的に使うと思う。
ただHBM3見ると安くするより性能や大容量や信頼性重視で、一般向け考慮しているようには見えない。
https://www.jedec.org/news/pressreleases/jedec-publishes-hbm3-update-high-bandwidth-memory-hbm-standard

NVIDIAの方はどう解決するつもりなのか見えないけど、AMDの方は大容量のInfinity Cacheでどうにかするって感じ。
256MBも積めば4Kでもかなり実メモリ帯域を削減出来るらしい。
キャッシュがダイ面積を食うのはSRAMを3Dスタックする3D V-Cacheで今後はクリアしていくつもりじゃないかな。