>それ以前の設定の部分で間違っている部分はないんでしょうか？

ファイアウォールを開けなきゃいけない、という思い込み。

外からのメールを受け取るのではなく、送るだけなら必要ない。
内から外へのアクセスも制限するようなルールを設定してるのら話は別だが。