男性に質問です

過去に同棲してた相手が幼馴染で小さい頃から家族とも顔見知りなので、
別れた後も顔を合わすことがあるのですが、今の彼氏から、元彼と会うのって
どうなの？と怒ってるような感じで言われます
私としては、別に何もやましいことはしてないし、昔からの近所付き合いも
あるので、もう会わないとはっきり言えないのですが、どうしたらいいのでしょうか？