連絡なしで訪問って違法な事やってるわけじゃないなら基本的に失礼な事だからね、、
出なかった方が気にすることじゃないよ。