GPGPUを使うと安く速くなるという錯覚を覚えてしまうが、
大規模なシミュレーターをカリカリにハードに最適化してやってる連中からすれば
演算器を実装するコストが下がるというだけの話で、じゃあ多ノード間通信は、メモリアクセスは、という話になる

そう考えると富士通が自由に使えるプログラマブルシェーダがあったら
通信技術にカネかけるというオチにしかならない。
メモリアクセスはHBM2より速いのないから特に考える必要ないだろう。