それはゲーム性やAIのタイプによるだろうけど、シンプルにランダムで戻るとか、一定時間で戻るとかのほかには
追跡対象の方向にレイを飛ばしてオブジェクトに当たったら見失ったとみなして、もとの位置に戻る、とか
対象との距離や到達時間を計算するとかが一般的じゃないの？