AIの学習データで面倒なのは画像データそのものはモデルには含まれていない。個別の学習データがバラバラに格納されているわけでは無く、混ざっちゃってるので学習データを個別に取り出すのは開発者でも無理というところ。
ネットに流れた恥ずかしい写真を完全削除しるって言うよりもある意味ムズイ。

まあなにを言いたいかというと、つまり著作権の問題に発展しようがないということ。AI画像生成の仕組みを分かってない素人が著作権ガーと吠えてるだけ。
まあどっちにしろ日本では最初から法律的に問題になることは無いんだけどね。