問題ないようだけど。x264のパラメータが省略されてるのでそこに原因があるなら知らんが。
二度手間になるから、質問や検証依頼をする場合は省略すべきじゃないよ。
x264のログや出力ファイルのMediaInfo情報とかもあるといいかもね。
以下コメント。
１．YV24(4:4:4)にしてる理由は何？（何か意図があるなら別にいいんだけど）
２．その設定だとf3kdbを使う意味が全く無い気がする。
デバンドもディザリングもせず8->16bit変換してるだけのような・・・。
8bitのままx264に渡した場合と結果が変わらないんじゃないか？
３．264出力してからmuxerでmp4にするんじゃなく、x264で直接mp4を吐いた方が良いのでは？
４．jpsdr版(tMod)のx264を使う理由は何？
現在のtModは変態コミットになってるし、できれば8/10bit統合した本家x264を使った方が良いと思うけど。
５．Avisynth+が古すぎ。更新した方がいいと思うよ。
高深度色空間もサポートしてるから、わざわざavs2pipemod -rawvideoで渡したりしなくても
高深度のavs（YUV444P16等）をそのままx264に渡せるから楽。
