すいません、初めてですよろしくお願いします
いま開発環境がcolaboratoryで、requestsとseleniumを使ってスクレイピングでデータ取得を行っているんですが、そのサイトは日本国内からのアクセスじゃないとダメらしいんですよね
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
# ブラウザをheadlessモード(バックグラウンドで動くモード)で立ち上げてwebsiteを表示、生成されたhtmlを取得し、BeautifulSoupで綺麗にする。
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options)
driver.implicitly_wait(10)
driver.get("https://スクレイピングしたいサイトのURL")
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
print(soup.prettify())
これになんとか国内のプロキシ噛ませられないでしょうか?
探検
Pythonのお勉強 Part62
■ このスレッドは過去ログ倉庫に格納されています
485デフォルトの名無しさん (オイコラミネオ MM69-b62Z)
2019/11/20(水) 16:35:31.61ID:EKRzhIXuM■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 中国が次々圧力も→高市政権の内情「日本は切る対抗カードなく、我慢しかない状況」と取材結果 [バイト歴50年★]
- 立憲・野田代表が主張 台湾有事答弁で「質問者批判は筋違い」「答弁がおかしい」「高市総理迎合のネット世論は危険」★3 [♪♪♪★]
- 高市早苗首相。財務省の経済対策草案を「しょぼすぎる」と一刀両断し自らテコ入れ [バイト歴50年★]
- 日中関係悪化で「日本からもうすぐパンダがいなくなる」 中国SNSでトレンド1位に★2 [♪♪♪★]
- 【音楽】石川ひとみ「まちぶせ」はストーカーか 衆院委で質問 [膳摩漏★]
- 【速報】 植田日銀総裁 「円安進行が物価高を起こしている」 ★3 [お断り★]
- 【速報】高市早苗「答弁撤回はしない」経済制裁へ★2 [931948549]
- 【速報】高市早苗「答弁撤回はしない」経済制裁へ [931948549]
- 【んな専🏡】ルーナイトたち~1週間お疲れ様なのらぁ~(・o・🍬)🏰
- 【悲報】高市答弁、誤解だった [834922174]
- 【朗報】「ドラゴンボール」全世界人気投票、初日の結果が発表される [339035499]
- 財務省「はぁはぁ…これだけ経済対策盛り込んでやったぞ!」高市「しょぼすぎる。貸しなさい」 [686538148]
