かなり個人差ある部分だからあなたが気にしすぎとか、逆に彼がだらしなさすぎとかではないと思う
改めて真剣に気持ちを伝えて
彼が「今後はやめるね、ごめん」と言うか
「気持ちはよくわかったけど交友関係を変えたくない。絶対に不貞をしないと約束する」と言うか
「またかよしつこいな、束縛するな」と言うかはわからないけど
言う価値はあるんじゃないかな