少しわかりました
カメラが動き続けている区間のみ、他のオブジェクトも動き続けることができる
という現象のようです
原因は不明ですが、カメラを1mmでも動かせば他も動いてくれるのでギリ作業は続けれました