>・不透明度を適切に設定、この度合いをどうすれば自動化できるのかわからない
Aが白に近い色で、Bが黒だと裏写りが出ていると判断できるでしょう。
そういうポイントを何箇所か見つけて、他の白レベルぐらいになる数値を求めればどうだろう。

>・Aの黒い部分にBの黒い部分が重なる場合、裏写りが出ているとされ、新たな白い裏写りができてしまう
Aにある限りなく黒に近い部分に一致する所を、予めBから消しておくと問題は出ない。