カメラの姿勢をどう持っているかによるな。

ヨーとピッチだけで持っているなら、その動きは無理。
その動きにはロールが必要。
そして、その動きをオイラー角で制御するのはかなり面倒。

カメラの姿勢を行列やクォータニオンで持っているなら簡単な話で
ピッチはグローバル座標系での回転、ヨーはローカル座標系での
回転になるから、ヨーの行列を逆から掛ければいい。
姿勢行列の平行移動成分は分離しておく。