> (long double) a * b <= UINT64_MAX

変形してこれでいいのでは?
a <= UINT64_MAX / b; // b!=0