複数のカメラを使用することで解決しました

シーケンサー画面の左ペインの一番上にある、
カレントカメラを設定する行の「＋」ボタンを押すことで、
どのカメラを使用するかを選択できました
これで追従するカメラとしないカメラを別々に扱う感じ

追従するカメラに切り換える時に視点がガクっと動く事に悩まされましたが
ちゃんと調べれば自動補間する方法もあるかもしれません

以上です