すいません、初めてですよろしくお願いします
いま開発環境がcolaboratoryで、requestsとseleniumを使ってスクレイピングでデータ取得を行っているんですが、そのサイトは日本国内からのアクセスじゃないとダメらしいんですよね
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
# ブラウザをheadlessモード(バックグラウンドで動くモード)で立ち上げてwebsiteを表示、生成されたhtmlを取得し、BeautifulSoupで綺麗にする。
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options)
driver.implicitly_wait(10)
driver.get("https://スクレイピングしたいサイトのURL")
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
print(soup.prettify())
これになんとか国内のプロキシ噛ませられないでしょうか?
探検
Pythonのお勉強 Part62
■ このスレッドは過去ログ倉庫に格納されています
485デフォルトの名無しさん (オイコラミネオ MM69-b62Z)
2019/11/20(水) 16:35:31.61ID:EKRzhIXuM■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【サッカー】J1昇格PO決勝戦 千葉、来季のJ1昇格が決定 17年越しの悲願叶える…オリジナル10が05年以来のJ1にそろう [久太郎★]
- 南京で「大虐殺」追悼式典 中国、高市政権をけん制 (共同通信) [少考さん★]
- 中国・ロシア両軍の爆撃機が東京方面へ向かう「異例のルート」を共同飛行…核も搭載可能、連携して威嚇か ★5 [ぐれ★]
- 【日銀】0.75%に利上げへ 来週の決定会合で、30年ぶり水準 賃金改善の継続見込む [ぐれ★]
- 京都のホテル大幅値下げ 訪日中国人客、年1000万人目前で急ブレーキ ★3 [蚤の市★]
- 【∩ (´・(ェ)・`】クマが立ち上がり窓ガラスに前足かける…市街地の会社従業員「かわいいなんてものじゃない」 山形・酒田市 [nita★]
- 【悲報】自立憲共国維参れ「株やFXの利益など金融所得課税の増税をする」保守党「金融所得への増税に反対」と増税反対は日本保守党のみに [359572271]
- >>5で貼られたスレにみんなで凸するスレ
- 小野田紀美「外国人帰れ!って言って石を投げられるのは毎日のように。もう殴る蹴るは当たり前でした。それで喧嘩強いんですよ、私。」 [856698234]
- 高市支持者、応援歌「正義の目ジャスティス💖アイ」を公開 [165981677]
- 【実況】博衣こよりのえちえちドラクエ1&2リメイク🧪★3🏡
- 日本人、気づきはじめる「庶民の生活が苦しいのは金持ちが節税したりして金溜め込んでるから。大企業の内部留保もどうにかしろ」 [434776867]
