本当に避けているのだと仮定すると、その日の胸の件だけかどうかわかりませんが、ジッと視線を感じて不快だったのかもしれません。女性は視線には敏感だし。
今後は店内で見かけようが何があろうが見つめないようにして、ほとぼりが覚めるまでやり過ごすしかないのでは？