>>732
に、API を公開してるって、誰かが書いてる

大々的に横断検索のようなスクレイピングしてると、営業妨害で逮捕される！
ちゃんと会社と契約して、API を使ってやるように！

会社のrobots.txt で、スクレイピングを禁止している場合は、有罪にされる！
クローラーの開発者は、robots.txtに従うべき！
従わないと訴えてくる。特に、5ch みたいなサイトは

クローラーのテストも、自分のPC 内に、Rubyのサーバーを立てて、
そこにウェブサイトのコピーを作って、それにアクセスしてテストする

本当のサイトに対して、テストしたりしない！
何回もテストしていると、営業妨害になるから！

クローラー開発者の大原則！
1. 会社と契約して、API を使う
2. robots.txtに従う
3. 自分のPC内に、サーバーを立ててテストする

それと書き込むときは、名前欄に、717 と入れてください！
誰が書き込んでいるか、分からないので