自己解決しました。
.emacs に (epa-file-disable) をしたら聞かれなくなりました。