Ruby には、Anemone というライブラリでスクレイピングできるけど、

これは、静的なページを対象にしているから、
5ch みたいに、空のHTML を送ってきてから、
Ajax で内容を取得するようなページには対応できない

Anemone は、データベースにURL を記録して、
同じURLを再ダウンロードしないようになっているけど、
Ajax で内容を取得している場合、URLは同じでも、内容が変わっている

翌日になったら、翌日のデータを取得しているとか、
5ch では、毎回データが変わっているなど

だから、こういう問題に対処するには、Ruby on Rails で、自分で作るべき

でも、スクレイピングは気を付けないと、営業妨害で逮捕されるので、
同じURL は、1日1回までにすべき