データの選択によって再現性が失われているなら、抽出データが偏ってるし、
普通は検証段階で確認する

しかし、精度の高いモデル作りました→実践投入
で、新規データを食わせたら精度が右肩下がりって良くある光景