誘導されてきました。

付き合って1年半ほど、お互い28です。
彼氏が大学時代の友人ら(県外の人たち)と年に3回は泊りがけで遊んでいます。(10〜15人くらいのグループ、男のみ)
1年程前に聞いたことですが、既婚者がメンバー内にいるにも関わらず、その旅行中に風俗に行ったそうです。
わたしの恋人は本人いわく、自分は行ってないと。
それ以来、そのようなメンバーで泊りがけで会うことをはじめ、
長期休暇は必ず会うことになっていることも(自分と過ごしてくれないのか?という自分勝手な気持ちです)
自分の中で不安材料となっています。
我慢しようと思ったため行ってほしくないと言葉にしてはいませんが、態度に出ていたらしく、
喧嘩になりました。
話の中で結婚も視野に入っているため、
結婚してからもこんな思いしなくてはならないのか?と私は思っているのですが、
相手はわたしが気持ちよく送り出さないことが気にくわないようです。
わたしの心が狭いのでしょうか。客観的な意見をいただき、参考にしたいと思っています。

風俗に行くのじゃないか不安、と正直に話したところ、
最近の旅行ではそんなことしていないし、俺のことを信用していないのかと何度も言われました。
信用していないわけではないけど、そのようなことをする友人と泊りがけで会うこと自体不安という風には伝えました。
また、これからも年に何回も泊りがけ(1泊2日ですが・・・)で
長期休暇に友人と会うのは、ないがしろにされているようでさみしいと思う気持ちがあると伝えましたが、今のところとりあってもらえていません。
上記のような理由で喧嘩をしたくありません。
わたしがおかしいのであれば、自分の気持ちを封じようと思ってもいます。
どうぞよろしくお願いいたします。