>>950
2の方が良い、with使ってるし
url.rstrip('\r\n') は、url.strip()でいいんでないかな
dst = (''.join([dstdir , url.split('/')[-1]]))は、dst = dstdir + url.split('/')[-1]でいいんでないかな
あとダウンロードした後にスリープ入れた方がいいんでないかな、time.sleep(0.1)くらい
サイトによっては、あんまり速く連続でアクセスするとロボットと思われて蹴られるよん
あとはurllib.request使うよりもhttplib2とかRequestsとかBeautifulSoup使った方がいいんでないかな
スクレイピングの解説なんかではこれらのライブラリ使ってるんだよね
ちなみに私はhttplib2使ってます
http://diveintopython3-ja.rdy.jp/index.html の14 HTTPウェブサービスで詳しく解説してます
レスポンス確認したりできるし、リクエストヘッダーを追加できるし、キャッシュも利用できる
サイトによってはリクエストヘッダーのRefererがセットされていないと蹴られたりするんだよね
探検
Pythonのお勉強 Part53 [無断転載禁止]©2ch.net
レス数が950を超えています。1000を超えると書き込みができなくなります。
953デフォルトの名無しさん
2017/08/28(月) 23:05:50.22ID:JL4Me4RJレス数が950を超えています。1000を超えると書き込みができなくなります。
ニュース
- 【前橋市】小川晶前市長とラブホテルで打ち合わせをした54歳男性職員を停職処分 今月末で依願退職するという [シャチ★]
- 【おこめ券】鈴木農相 米価維持の意図「一切ない」★2 [ぐれ★]
- 【埼玉】「無免許で高速道路で事故」トラックの追突事故で10代男性死亡 無免許過失運転致死の疑いでトルコ国籍の男(22)逮捕 戸田市 [ぐれ★]
- バリ島で男子生徒ら集団万引きか、防犯カメラ映像が拡散 京都の大谷中学・高校が「窃盗行為」謝罪★6 [七波羅探題★]
- 【警視庁】走行中の電車で女性に露出した下半身押しつけたか 無職の男(46)逮捕「チャンスがあればいつでもやる」 [nita★]
- 広島・廿日市、おこめ券配布せず 全市民に3000円現金給付へ [どどん★]
- 【悲報】マクベ大佐「いい音色だろ(壺を弾く)」僕副官「統一教会っすかw」マクベ大佐「北宋だ(怒)」 [616817505]
- 【実況】博衣こよりのえちえちチーズケーキを仕込み(雑談あり)🧪★2
- 【速報】1ポンド210円で日英GDP逆転(残り1.5円)...世界6位の経済規模に転落 [237216734]
- じゃあ何券だったら、日本人は満足したんだよ [452836546]
- お前らのボーナス額書いてけ
- 朝日新聞記者「中国軍のレーダー照射はこめかみに銃を突きつけられたのと同じ。僕なら反撃して撃墜してる」高市 [931948549]
