リモートデスクトップやssh通信はインバウンド通信を許可、アウトバウンド通信は拒否だと接続できませんか?
両方許可にする必要あります?