「線のどちらが内側か」という問題なら符号付き面積を求める方法があります。

もしくは、「確実に外側である適当な点から最初に線を横切った先は内側」
という判定方法もあります。