HSPに限った話ではないと思いますが、システムリソースは有限なのだから、
それを超えるデータ量を扱いたいなら、「非常に使い勝手というか手間がかかると」
思っておられるページング処理は必須でしょう。