У меня есть список из 1 миллиона URL-адресов веб-сайта, и у меня есть список ключевых слов. Я хочу использовать Google для поиска этих ключевых слов на этих сайтах один за другим; если я найду что-то, что означает, что это правильный URL для меня.
Я гуглил, чтобы найти какой-то инструмент для этого, я нашел два.
https://github.com/NikolaiT/GoogleScraper после установки всего я обнаружил, что этот скребок не поддерживает as_sitesearch в качестве параметра поиска, поэтому я не могу искать по веб-сайту.
То же самое для второго: http://jaunt-api.com/jaunt-tutorial.htm
Есть ли хороший инструмент для этого?
Я программист GoogleScraper. Вы можете использовать параметр as_sitesearch, когда используете файлы ключевых слов для своих 1 миллиона ключевых слов.
Просто используйте GoogleScraper что-то вроде этого:
GoogleScraper --mode selenium --keyword-file you-keyword.txt --proxy-file your-proxies
где файл Вы-keyword.txt похоже:
site:yourdomain.com some sneaky words
site:yourdomain2.com some other words
...
Для просмотра всей справки:
GoogleScraper --help
ура
Других решений пока нет …