avs2pipemod -y4mp "input.avs" | x264(x64) - --profile high [option] --demuxer y4m -o output.mp4
AVSはx86だと思いますが違いますか?(AvsPmod(x86)で読ませています)