CPUで値の保持だけfp64で演算がfp32なら性能低下は起きないけど（それでもキャスト分の実効性能が落ちるかも）
演算もfp64にすると6割くらいまで性能低下する場合がある（Intel14世代Coreなど）
これは単純にゲームによく使われるfp32と違ってfp64はあまり活用されてないので演算器が削られているからで
単純に演算器が少ないのでピークパフォーマンスが下がる

GPUの場合は更に顕著でクラスタに対してfp64が1〜2個くらいまで削られる事があるので
GTX4080などでは理論性能値がfp32が48.74 TFLOPSなのに対しfp64は0.76 TFLOPSまで落ちる
実装が1:64なので1クラスタにfp32ユニットが64基に対してfp64ユニットが1基しかない

昨今のハードウエア事情とはかなり異なる悪手だと思う