それは根本的な考え方が間違ってるだけでは
画面外のイベントを動かさないようにするのではなくて
画面内のイベントのみを動かすようにすればいいだけでは