申し訳ありません、ざっくりし過ぎでした。
膨らませてジッターかけて黒にしたポリゴンを反転する方法はやりましたが、うまくいきませんでした。
unReal Xtreme2でやってみたのですが、理解不足なのか自分のやり方ではこういう画にしかなりません。
http://fast-uploader.com/file/7092553722023/ （ToonTracerのブラシ設定にテクスチャ適用）
理想は以下のような感じです。線だけじゃなく質感もですが、方法がさっぱり分かりません。
http://ch.nicovideo .jp/tho/blomaga/ar429282 （規制対策でスペース空けてます）
もしかしてエッジノードでできたりするのでしょうか……？