相談です

お互い既婚子蟻、30代前半の職場の同僚です。
何回か流れで二人で飲む機会があり、飲み屋で仲良くなった他人から二人はどんなご関係？と聞かれ、困った挙句ただの同僚です！と強めに返答してしまいました。その後折に触れてただの同僚だから、と言われてしまいます。
否定したいけど否定＝告白になると思い、今の距離感が崩れそうでどうしたら変な空気にならず好意を伝えられるか悩んでます。あちらはただの同僚としか思ってないから意識せず、二人ごはんに行けるのかもしれません。