>>215
自己補足。色々調べて、katanaというWebクローラでURLリストを作るのが良さそうという結論になった
https://github.com/projectdiscovery/katana
高機能だし速いけど、CUI操作に慣れてるプログラマじゃないと上手く使えないかも