Я хочу ползти https://www.socialbakers.com/ но у меня возникают проблемы с обработкой нескольких перенаправлений при создании сообщения при входе на сайт. Первым перенаправлением является HTML-страница, где JavaScript выполняет перенаправление.
Я хочу отследить все URL-адреса запроса на перенаправление и, если возможно, сделать запрос на публикацию / получение каждого URL-адреса.
Гутта это просто веб-скребок, потому что он не поддерживает JS.
Если вы застряли с JS, вам нужно что-то более мощное, например, Selenium или PhantomJS.
Посмотрите на PhantomJS, это просто и быстро.
Selenium также имеет драйвер для PhantomJS, если вы предпочитаете оставаться с PHP (вы можете использовать норка с селеном и фантомом).
Других решений пока нет …