その人が拒食か過食か、親密度によるよぬ
拒食なら断るor仲が良ければ事前申告で一応来るかも
過食なら自制が効かないから断るor諦めてその時だけ来るor合間で嘔吐しつつ異常に食べる

のどれかかな？
でも誘われて嫌な気分はしないと思う。
逆に余程頭がイカれてなければ、「行けなくてごめん」ぐらいは思ってくれるはず