そもそも人の耳は左右で聴力が違う人が殆どだから
同じユニットならそこまで違和感を感じないんじゃない？
別のユニットを使ってるのが本当ならどうかと思うけど