お互い30代社会人

私は仕事で地方の取引先会社に一人で出張が多く、大抵取引先の社員さんが夕飯を御馳走してくれます
取引先も二人や三人来て複数で食事なんですが、彼はそれでも下心あるって言って不機嫌になります
向こうもビジネスとしてやってるし考えすぎだと思うんですが、私が過去に何度か取引先の人に
口説かれたことがあるのを知ってるので心配なようです
今まで気のない人に口説かれてもハッキリ断ってるし心配いらないんですが
彼とも仕事で出会って口説かれてつきあうようになったから、信用がないみたいです

仕事を変えるわけにもいかず、かといって仕事のつきあいを断る訳にもいかず
浮気をしないとどうすれば信じてもらえるのか？悩んでいます