>183
画像上での４頂点に対応するカメラ座標系でのレイ（無限直線）　と　ある平面　との交点を求めたときに
その４交点が長方形になってるような平面を求めればいいんだろうきっと．
４つの交点を結んだ四角形の四つ角が90度にならなければいかんぜよ　という条件とかから
適当に目的関数でも立てて最小二乗法とかでやればいいんじゃないか？

なんとなくだが平面が通る点をどこかに適当に定めてしまって
平面の法線方向だけについて解けばいいような気がする