ものすごく嫌なことを彼に言われ、落ち込んでいます。

お互い30代カップルで彼は私以外に付き合った経験がなく、私は3人お付き合いした経験があります。

ホテルで彼氏に〇〇と違ってヤリマンじゃないからと言われ、その場で泣いてしまいました。ものすごく傷つきました。
それを見て冗談で言ったと謝ってきましたが冗談でもこんなこと言わないですよね・・
それとも気にし過ぎでしょうか？