花の画像から、花びらやがく、茎などの部位を機械学習で着色する仕組みを考えています

今は手作業で200枚くらい正解データがあって、
花びらを赤、おしべめしべを黄、がくを緑、茎を青といったルールで色づけています
花は身近なタンポポなど野草がほとんどで18種類です
データが圧倒的に足りていないのもわかっているので
特定の花だけに限定して正解データを手作業で作る作業もしています

文字・数字認識や物体検知の課題では、画像と正解ラベルをセットで学習させていますが
私の課題の場合、ピクセル単位でどこが花びら=赤、茎=青、といったデータも作る必要があるのでしょうか？
線画を着色するGANsの仕組みが近いかなとも思い調べたのですが、
着色範囲がぼやっとしていて、私の課題にはそぐわないように感じました

実現可能性が低いのは承知のうえで、こういった課題の場合
どういう仕組みが考えられるのか、お詳しい方アドバイスいただけたらうれしいです
スレ違いでしたらすみません