小２の息子が怒鳴られました。あまり、納得してません。

息子を学童に迎えに行き、次に幼稚園に娘を迎えに行ったあと、小２息子と娘を園庭で遊ばせてました。そのときに、息子の友達(以下A君)も遊んでました。
息子とA君が遊んでいると、年長のB君がずっと付いてきてました。息子たちが「この子がついてくるー。」と指を指したらB君の父が「指さして何笑いよんじゃこらー。」と突然ブチギレ、親呼んでこいといい、私がすみま、としか言ってないのににエヘヘと笑い、気が済んだのか、A君にも子供相手にジリジリ詰めより「お前も笑っただろ、親呼べ。」と言い、おばあちゃんがいろいろ話を聞いても話が噛み合わなくて、話の途中で帰ったみたいです。

17時まで園庭は開放してます。小学校は通学路挟んですぐとなりなので、園児が小学校でも遊んでます。
もちろん、お迎えのあとはすぐ帰るのがいいのですが、誰かは必ず遊んでいるので、17時までの約束で遊んでました。園庭に小学生は普通にいます。

指を指すのは確かに失礼なことだし、笑ってたけど笑顔で、バカにしてたわけでもないです。

これからも顔を合わすと思うとホントにいやです。これって指をさした息子たちが悪いんですか