スクレイピングをしていいサイトかの確認は
サイトのメインURLにrobots.txtを追加しての確認以外にあるんでしょうか?
利用規約もなく、見つからない場合は不可なのですかね