原因がわかりました。
showmatch オプションを設定していると現象が発生しますね。

> :set showmatch

vim のソース を見て見たけど、残念ながら私には原因が追求できなさそうです。
たぶんここですよね。
https://github.com/vim/vim/blob/master/src/search.c#L2608