チャットで勧誘されたわけではなく、単にグループ招待が無言で飛んできたってこと？
であれば無言で断って問題ないかと