gpg-agentが本体でgpgコマンドはフロントエンドになったからじゃない?
パスフレーズを端末から入れたいだけならpinentry-curses使えばいいんじゃないかな