漏れなら、Ruby で、Selenium WebDriver で、

url.txt には、行区切りでURL を書いておく。
script.rb には、Selenium WebDriver での処理を書いておく

main.rb には、以下を書いておいて、このファイルを、ruby main.rb で実行する

File.foreach( "url.txt" ) do |line|
`ruby script.rb #{ line }`
end

url.txtを、1行ずつ処理して、各URLを取得して、それを引数にして、
ruby script.rb URL の別プロセスを呼び出す。
ただし、Selenium WebDriverでの処理が、URLだけが異なって、他は同じ事が条件

つまり、マルチプロセス

これをマルチスレッドにすると、排他処理などが面倒。
それに同一プロセス内の処理になるので、1つのエラーで、すべての処理が止まるし、やってられない！