>>961
すみませんツリーという用語が私の勉強不足でよく分からないのですが
ノードは左から右に向かって処理されます
http://cycles.wiki.fc2.com/
cyclesの解説サイトですがcyclesのマテリアルノードについて詳しく載っていますよ

>>962
合成方法がadd(加算)になっていますね
足し算なので色が足されているのが透けているように見えています
それと合成に必要な白黒のマスク画像がありませんね
マスク用のレンダーレイヤーがありますが私はマスク用のオブジェクトを同位置に複製し
別レイヤーに移動してマスク用のマテリアルを適用します
もちろん一度にやらなくても一度普通にレンダリングした後、マスク用のシーンを別に作っても良いです

blenderで二つの画像を合成するには2Dソフトでのレイヤーのように上書きするのと違って
画像二つとマスク用の白黒画像をRGBMIXノードでMIXします
具体的には片方は真っ白、片方は真っ黒にして同時にレンダリングしたマスク画像が必要です
マスク画像は単純に白黒にレンダリングしても良いですし、手書き画像やアルファ画像でもOKです

他にもZ Combineでも合成できます
これはZ値を元に合成するものです

Alpha Overでもアルファを使って合成できます
下の画像ではスクリーンショットの画像にSphereをアルファを使って合成しました
https://i.imgur.com/9xiKDkw.jpg
他にも方法があるかもしれませんがとりあえずこんなところで