NVEncはref明示的に指定すれば大丈夫だった
--bluray --ref 4

QSVEncはそれらしいオプションがないから分からん