スクレイピングは、1日1回までなら大丈夫。
検索エンジンは、そうしてる

相手のrobot.txt に書いてある

何回もリロードすれば、手動でも、営業妨害で逮捕される。
だからテストでも、他人のサイトには、絶対にアクセスしない

とにかく、相手の業務を妨害したら、逮捕されるだけ