Как я могу ограничить поисковую систему, чтобы она не читала наш .php URL, потому что мы хотим, чтобы наши чистые URL появлялись в поисковых системах.
Я использую файл htaccess для удаления .php из всех URL-адресов, но поисковая система принимает оба URL-адреса, т.е. с .php и без .php.
Я хочу, чтобы поисковые системы читали только URL с расширением .php.
Создайте файл robots.txt в корне вашего сайта и включите следующее, чтобы избежать сканирования расширений .php.
User-agent: *
Disallow: /*.php$
Ref: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en
Других решений пока нет …