相手はそこまで考えて無くて、あなたが誘ってきたから
断らないというシンプルな感じなんじゃないかな