OPENSSHでサーバー間のSFTP処理を行いたいのですが、どうしてもコマンド実行時にパスワードを聴かれます。 A→B の通信は上手くいくのですが、B→A は上手くいきません。

権限とかは全て見直しましたが…。何かアドバイスいただけないでしょうか。