>私の場合有効桁数そのものが問題なのではなく、切り上げか切り下げを指定したいということです

それならその√3を求める関数の仕様に当たるべきでは。
標準の数学関数だと、丸め方式以前に1ULPの誤差も保証されているとは限らない。