自己解決したかも!
ttp://d.hatena.ne.jp/nakamura001/20110705/1309890918
見てたら、 Quaternion.Slerpの使い方が分かった気がした
3番目のパラメータを最終的に1にすることで数値がX,Y軸が0になったお!