Python Scraping ссылки из результатов поиска

Я пытаюсь сгенерировать / получить список ссылок на новости из поиска по ключевым словам с новостного сайта с использованием Python. Для поиска в Google я знаю, какое использование
Запросы, но в то время как страница поиска Google имеет свой собственный адрес ссылки (т.е. https://www.google.dz/search?q=keyword), некоторые сайты не передают ключевые слова через веб-адрес.

Первый — например, в http://english.hani.co.kr/ , пользователи попадают на страницу результатов поиска http://search.hani.co.kr/Search со списком ссылок независимо от того, какое ключевое слово они вводят (Korea Times это еще один пример). Таким образом, все еще возможно использовать библиотеку Python для извлечения этих ссылок?

Второе — в двух предыдущих и многих других случаях (например, этот), результаты поиска отображаются на сотнях страниц. К каким инструментам и методам я должен обратиться, чтобы составить полный список ссылок на новости?