相手に配偶者が居なければ不倫とは言いません。
相手に配偶者が居る人と関係を持つことを不倫と言います。