>>950
2の方が良い、with使ってるし
url.rstrip('\r\n') は、url.strip()でいいんでないかな
dst = (''.join([dstdir , url.split('/')[-1]]))は、dst = dstdir + url.split('/')[-1]でいいんでないかな
あとダウンロードした後にスリープ入れた方がいいんでないかな、time.sleep(0.1)くらい
サイトによっては、あんまり速く連続でアクセスするとロボットと思われて蹴られるよん
あとはurllib.request使うよりもhttplib2とかRequestsとかBeautifulSoup使った方がいいんでないかな
スクレイピングの解説なんかではこれらのライブラリ使ってるんだよね
ちなみに私はhttplib2使ってます
http://diveintopython3-ja.rdy.jp/index.html の14 HTTPウェブサービスで詳しく解説してます
レスポンス確認したりできるし、リクエストヘッダーを追加できるし、キャッシュも利用できる
サイトによってはリクエストヘッダーのRefererがセットされていないと蹴られたりするんだよね
Pythonのお勉強 Part53 [無断転載禁止]©2ch.net
レス数が950を超えています。1000を超えると書き込みができなくなります。
953デフォルトの名無しさん
2017/08/28(月) 23:05:50.22ID:JL4Me4RJレス数が950を超えています。1000を超えると書き込みができなくなります。
ニュース
- 【サッカー】U-17日本代表、激闘PK戦制す 北朝鮮撃破で6大会ぶり8強入り U17W杯 [久太郎★]
- 日本行き空路49万件キャンセル 中国自粛呼びかけ 日本行きチケット予約の約32%に相当 ★3 [ぐれ★]
- 【芸能】日中関係悪化でエンタメ業界に大ダメージ… JO1の中国でのイベント中止、邦画は公開延期、STARTOアイドルへの影響も [冬月記者★]
- XやChatGPTで広範囲の通信障害 投稿や閲覧できず [蚤の市★]
- 現役猟師・東出昌大、クマ被害続出も過熱する報道に「クマはそんな危ないもんじゃない」理由語る [muffin★]
- 【インバウンド】中国人観光客の日本での消費額は年間約2兆円超…中国政府は公務員の出張取り消し [1ゲットロボ★]
