普通に同僚とごはんくらい行くし何とも言えないなー
勝手に気を揉んで断って、自意識過剰pgrって思われても嫌だし
かといって告白されて断ったときに「気を持たせるような事しやがって」と思われるのも嫌だし難しい
とりあえず食事の時に休みの日誘ってみたら？