Я создал динамический маршрут с Laravel, который служит ответом TXT.
Работает в браузере, но гуглбот говорит, что нет robots.txt
файл.
Это заголовок, который я получаю:
Cache-Control →no-cache
Connection →keep-alive
Content-Disposition →inline; filename="robots.txt"Content-Encoding →gzip
Content-Type →text/plain; charset=UTF-8
Date →Wed, 23 Mar 2016 11:36:44 GMT
Server →nginx/1.9.12
Transfer-Encoding →chunked
Vary →Accept-Encoding
Это мой мой маршрут Laravel:
Route::get('robots.txt', 'TxtController@robots');
И это метод:
public function robots(){
return response()->view('txt.robots')->header('Content-Type', 'text/plain')->header('Content-Disposition', 'inline; filename="robots.txt"');
}
Я пробовал с Content-Disposition →attachment; filename="robots.txt"
но Google продолжает говорить, что нет robots.txt
файл.
Я пытался удалить Content-Disposition
и все еще не работает из Google Web Master Tools (работает в браузере)
Это мое конфигурация nginx, может быть здесь что-то не так:
« `
server {
listen 80 default_server;
listen [::]:80 default_server;
server_name mydomain.com;
root /home/forge/mydomain.com/public;
# FORGE SSL (DO NOT REMOVE!)
# ssl_certificate;
# ssl_certificate_key;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
index index.html index.htm index.php;
charset utf-8;location / {
try_files $uri $uri/ /index.php?$query_string;
}
location = /favicon.ico { access_log off; log_not_found off; }
#location = /robots.txt { access_log off; log_not_found off; }
#location = /robots.txt {
# try_files $uri $uri/ /index.php?$args;
# access_log off;
# log_not_found off;
#}
access_log off;
error_log /var/log/nginx/mydomain.com-error.log error;
error_page 404 /index.php;
location ~ \.php$ {
fastcgi_split_path_info ^(.+\.php)(/.+)$;
fastcgi_pass unix:/var/run/php5-fpm.sock;
fastcgi_index index.php;
include fastcgi_params;
}
location ~ /\.ht {
deny all;
}# Expire rules for static content
# cache.appcache, your document html and data
location ~* \.(?:manifest|appcache|html?|xml|json)$ {
expires -1;
# access_log logs/static.log; # I don't usually include a static log
}
# Feed
location ~* \.(?:rss|atom)$ {
expires 1h;
add_header Cache-Control "public";
}
# Media: images, icons, video, audio, HTC
location ~* \.(?:jpg|jpeg|gif|png|ico|cur|gz|svg|svgz|mp4|ogg|ogv|webm|htc)$ {
expires 1M;
access_log off;
add_header Cache-Control "public";
}
# CSS, Javascript and Fonts
location ~* \.(?:css|js|woff|ttf|eot)$ {
expires 1y;
access_log off;
add_header Cache-Control "public";
}
}
```
Спасибо.
Когда я проверяю http://www.google.com/robots.txt заголовки ответа HTTP:
Cache-Control:private, max-age=0
Content-Encoding:gzip
Content-Length:1574
Content-Type:text/plain
Date:Wed, 23 Mar 2016 12:07:44 GMT
Expires:Wed, 23 Mar 2016 12:07:44 GMT
Last-Modified:Fri, 04 Mar 2016 19:02:51 GMT
Server:sffe
Vary:Accept-Encoding
X-Content-Type-Options:nosniff
X-XSS-Protection:1; mode=block
Почему бы не пропустить Content-Disposition
заголовок и просто вывести текст с Content-Type:text/plain
заголовок?
Также…
Увидеть https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt для получения дополнительной информации
Я решил это, добавив заголовок Content-length. Результат кода такой:
$response = response()->view('txt.robots')->header('Content-Type', 'text/plain');
$response->header('Content-Length',strlen($response->getOriginalContent()));
return $response;
Надеюсь, это поможет. Спасибо за ваши ответы.
Content-Disposition
заголовок используется для принудительной загрузки файла в браузере. Это, вероятно, смущает бот Google — попробуйте дать файл без него:
public function robots(){
return response()->view('txt.robots')->header('Content-Type', 'text/plain');
}