一応おかげで出来ました(テストしてた方がいたので参考にしました)
avs2pipemod -y4mt input.avs > output.y4m
x265 --y4m [x265のパラメータ] -o output.265 input.y4m
出来るはできたけど逆に遅くなったのと作業容量が必要です
100MB・1分くらいのソースでy4mして6GB超え、30分のソースとなると作業容量とPCのスペックはそれなりのものが必要かと･･･
低スペックPCの場合はパイプ(avs2pipemod、avs4x26x)使ってエンコしたほうがいいと思います