男に囲まれて心配ってこと自体は伝えてもいいかもしれないけど
「君が浮気するかもしれないから心配」って言い方されると彼女にそんな気さらさらなかったら普通に心外だし信頼関係ないんだなって傷つくでしょ
言うなら「君にその気はなくても男の方からなんかしてくることもあるかもしれんから心配」って言いなよ