これと同じ症状やな
https://github.com/vim/vim/issues/3083
$TERMの値をxterm以外にするか、v:termresponseの値を報告して対応してもらうか、
https://github.com/vim/vim/pull/2126 をマージしてもらうのを待つか