外積だと思う
ある点が、任意の点Aから点Bまでの線の右側/左側にあるかで正負が変わる
これを利用してひしゃげてない図形の頂点を結んでって全部の線の外積が正だか負だかになれば図形の内側に点がある（当たってる）
使ったことあるけどほとんどは四角とか円とか工夫で何とかなるイメージ