スクレイピングの基本として書き込めない場合は
セッション
User-Agent
Cookie
Referer
をまず疑う

それでもダメならアクセスの順序、JavaScriptの有無を疑う

WebDriverで済むならあらゆる場合でそれが簡単