ローテーションを直接いじってるんじゃないの？
キャラ首角度は別で持っておいて、触るのはその値。
描画する時にその値を入れるだけ。
どうやってるかわからんけど、現在角度読み込んで変化量与えて戻してたら変になるよ。