昔から使われてる言葉だから正しい訳でもない。
「知っている」か「知らない」かの教養、そしてそれを判断するのは環境（海外の方と仕事をしている、お友達がいる等）の違いかと。

今はクレヨンに肌色ってないでしょ？