GoogleはNNに特化したハードウェアをどっさりこさえてるからそのぶん強いんだよ

GoogleのTPUはGPUの10倍の価格性能比を持つとされる
Pezyのような汎用スパコンはGPUをのっけてるからNNの処理自体はGPU同等だが
汎用である分価格性能比では圧倒的に劣る

TPU >>>>>>>> GPU >>>>>>> スパコン
だからこの種の用途に使うのはまったくの無駄

Googleもスパコンは使ってるけど
その強みはしょぼい機械を大量に積み上げた徹底した分散型処理にある
単体のハードウェアの性能を競う方向とは正反対