仕事後の飲み会というのは、仕事の延長です。
飲み会の場で次の段取りや細かい決まりが決定されます。
それに参加しないのは仕事を拒否しているとみなされます。