このエラーはNVEncの制限でした。
"Geforceでは、NVIDIAのドライバの制限により3ストリーム以上の同時エンコードが行えません。"
ということで、NVEncを使う場合は
エンコード最大並列設定　2
が安全なようです。
4でもタイミングによりエンコードが並列に2つしか働いていない場合がありますが、
運が悪い(?)と3つ4つ働いてエラーになるようです。