HandleAngleは貴方が求めた計算値だよね?
ローカル軸にToAngleAxisかけてるからじゃないのかな?
Handle.localRotation.eulerAngles.xに-符号は付かないんだよ