オプティカルフローを調べてみればいい。基礎的な話だな。

で、動体が複数だったらどうするの？ その場合の優先順位は？
例えば右にパンしたら今まで見えていた画面の左端の方は見えなくなるわけだけど、それはいいの？
ましてやパンする事は画面全体が動くことに他ならないけど、そうすればカメラは動いた画面そのものに反応するって事になるが、それはいいの？

人間の目はこういったアルゴリズムを考えることなく実行できるけど、機械でさせるのは容易じゃなかろ？
ただMSのキネクトなら比較的簡単にこなせるだろうね。

昔、キャプチャカードでちょっと有名なメーカーに面接に行ったら、そこの開発者が大学院でもろその通りの研究をしてたそうな。
車が横切っても人が行き交ってもきちんと追っかけられるそうな。

大学の論文とかそんなの一杯あるからci.nii.ac.jpで探してみればいい。