あるWebサービスをクローリングして情報を蓄積したい
そのサービスは投稿サイトであり、APIは提供されていない
新着投稿一覧で新着は見れるが、ページングされており、
投稿される頻度によってはまだ取得していない情報が2ページ目以降に移動する

この条件で投稿された情報を1件も取り漏らさず、
負荷をかけないようにクロールするにはどうアプローチしたら良い？