自分も番地はアーカイブした

通りごとにwgetのバッチ作ってあとはひたすら回収
2週間で約4TBにもなったけどこの中にindex.htmlが無くて
アクセスできないのが沢山あるのか・・・