カメラの座標を基準にして
カメラの視線ベクトルと、該当座標へのベクトルの
内積をとって見てはいかがだろうか

勘で答えてるけど