女性に質問です。

私は20代半ば女です。
彼氏ができたのですが、かなり前から約束していた男友達複数人との来月旅行をキャンセルしたく、何と言うべきか迷っています。
男友達複数人は旧知の仲なのでやましいことは決して何もなく、前から楽しみにしていた約束なので行きたいのですが、彼氏を嫌な気持ちにさせるかもしれないと思うとキャンセルすべきかと思っています。
彼氏にそれとなく確認したところ、いい気持ちはしないけど前からの約束なら行ってきていいよと言ってくれましたが、やはり常識的に考えてキャンセルかなあと思っています。

しかしキャンセルするとなっても男友達複数人に何と言うべきでしょうか。
彼氏ができたから行けない、と言うと
俺は全くお前に気がないのに自意識過剰じゃないの？とか、ずっと前からの約束でそれぞれ仕事のスケジュール抑えて遠方からわざわざ集まるのにドタキャンかよ、とか
人としてどうなの？とか思われてしまいそうで。

同じような境遇の人がいましたら、どのように場を乗り切ったか教えてください。

書いてて板違いのような気もしてきました。ごめんなさい。