初心者で恐縮ですが、質問させてください。
さくらのクラウドで、一台のサーバに複数IPを割り当てたのですが、ここから複数IPでクローリングするにはどうしたら良いでしょうか?
#ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限(1分に1回とか)を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。
今思いつく方法としては、更に仮想ホスト化して、1台のマシンを複数のマシンとして扱って、それぞれでクロールのプログラムを走らせることです。
ただ、やりたいのはTwitterのフォローネットワークを辿っていくことで、複数のマシンでプログラムを走らせると、取得するユーザがかなり被ってくると思われるので、別の方法があればそうしたいです(上手く分散処理してやればいいのでしょうが)。
例えば、走らせるのは一つのプログラムなんだけど、クローリングするときに、プールしてあるIPを毎回変えながらデータを取得するとかできないのでしょうか。
詳しい方、いらっしゃいましたら、お知恵を拝借願います。宜しくお願い致します。
探検
ネットワークに関する疑問・質問 Part32 [無断転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
794にゃん太郎
2017/09/20(水) 21:36:44.87ID:ZDEHa9v2■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【シミュ】「台湾有事」の最悪シナリオ明らかに「日本側の死者4662人」海上封鎖で包囲 [1ゲットロボ★]
- 【文春】『薬屋のひとりごと』実写映画化、芦田愛菜(21)が主演・猫猫に決定! [Ailuropoda melanoleuca★]
- 「射撃の心得はなるべく無心で」、撃つ直前に「偶然ではない何か」 山上被告明かす“犯行時の心境” 安倍元総理銃撃事件 [どどん★]
- 「今川焼」か「大判焼き」か、それとも…? ついに決着! 47都道府県“呼び方勢力図”★2 [七波羅探題★]
- 【サッカー】天皇杯決勝で空席目立つ 観衆3万1414人…宮本会長「背景は深掘りする必要がある」 [jinjin★]
- 水深2mのホテルプールで大学生溺死、監視員なし 8千万円賠償命令 ★2 [蚤の市★]
- 高市早苗「そんなことより定数削減、と言ったな。あれは優先度合いの意味ではない。政治資金問題もどちらも大切」 [545512288]
- 【悲報】斎藤元彦陣営のネット広報担当会社が投稿したnoteで騒然★966 [931948549]
- 石破、ネトウヨにブチギレ「『後ろから鉄砲を撃つな』だと?みんなが黙るってことで日本はどんな歴史たどりましたか?」 [856698234]
- 米食わないからおこめ券貰っても使い道ない
- 中国「日本が脅威なの😡」 英国「真の国家安全保障上の脅威はおまえだよ🥺」
- マクドナルド、チルノをぶっこんでくるww www [577451214]
