ついでにrigaya氏やVideoLANのr2901バイナリも使って比較してみるといいかもね。
オプションは--no-optsを外して--output-depth 10をつけるだけでいい。

rigaya氏のバイナリはブログ右下のx264から。
VideoLANのバイナリは以下のURLから。
　http://download.videolan.org/pub/videolan/x264/binaries/win64/

tModのr2901だけおかしいなら、tModの問題ということになる。