Как получить начальные индексированные данные для моей собственной поисковой системы?
Я пытаюсь сделать поисковик. Я хочу знать, что Как я могу получить URL в начале индексировать в моей базе данных? Например, как Google получил URL-адреса сайтов для сканирования?
Решение
Вы можете начать с существующего индекса и использовать его для создания собственного индекса. dmoz — это редактируемый человеком индекс: http://www.dmoz.org/
Другие решения
Других решений пока нет …