その断り方はごく普通だと思うよ
相手の方が無茶なこと言ってきたんだから
あなたは何も気にすることないと思う
いい機会だから、この後相手がどうフォローしてくるかとか観察してみたらどうかな
何もなかったら残念ながらヤリ目だったのかも
こっちからフォローする必要はないからね