Google Crawler или Scraper со всеми параметрами поиска

У меня есть список из 1 миллиона URL-адресов веб-сайта, и у меня есть список ключевых слов. Я хочу использовать Google для поиска этих ключевых слов на этих сайтах один за другим; если я найду что-то, что означает, что это правильный URL для меня.

Я гуглил, чтобы найти какой-то инструмент для этого, я нашел два.

https://github.com/NikolaiT/GoogleScraper после установки всего я обнаружил, что этот скребок не поддерживает as_sitesearch в качестве параметра поиска, поэтому я не могу искать по веб-сайту.

То же самое для второго: http://jaunt-api.com/jaunt-tutorial.htm

Есть ли хороший инструмент для этого?

1

Решение

Я программист GoogleScraper. Вы можете использовать параметр as_sitesearch, когда используете файлы ключевых слов для своих 1 миллиона ключевых слов.

Просто используйте GoogleScraper что-то вроде этого:


GoogleScraper --mode selenium --keyword-file you-keyword.txt --proxy-file your-proxies

где файл Вы-keyword.txt похоже:


site:yourdomain.com some sneaky words
site:yourdomain2.com some other words
...

Для просмотра всей справки:


GoogleScraper --help

ура

2

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]