macOS Sierra、Photoshop CC 2017.1.3です。

写真の人物部分を切り抜いて、そこに別の背景を配置したりする際、
より自然に見せるために切り抜いた人物のほうに影を作ると思いますが、
単に人物にドロップシャドウをかけても影の形や輪郭が綺麗すぎて不自然なので
黒色の図形等で影を描き、その透明度を薄くしたり、ぼかし(ガウス)など
駆使すれば概ねそれっぽくは影ができます。
しかしいざこれに背景を配置すると、なんというか、影の色が不自然なのです。
背景に馴染んでないというか、背景の色に関係なく灰色の影ができてしまい、
結果として影だけが周囲から浮いている感じになります。

背景がどんな色でも自然な影になるようにはどうすればいいんでしょうか?