スクレイピングの話の続き

ブラウザを動かすのにSeleniumは使ってないんだけど
代わりにブラウザアドオンを作った

全自動モードと半自動モードがあって
半自動だとグーグル検索したら
裏側でSERPsを検知してDBにHTMLを自動保存
全自動だとグーグルで検索すると自動で動いて
関連ワードを辿って指定した階層までの全部のSERPsを収集してDBに保存
数日間動くので最初に検索するだけであとは放置
js書ける人なら解ると思うが簡単なスクリプトなのですぐ作れると思う
>>97にだけ注意すれば意外といける

DBに保存したものは後で好きなように解析すればいい
俺はSERPsに乗ってるページに全部訪問して形態素解析に掛けてた
更にword2vecにかけたりね
まあここら辺は好きに調べたらいいと思う