Робот Google не распознает динамический файл robots.txt

Я создал динамический маршрут с Laravel, который служит ответом TXT.

Работает в браузере, но гуглбот говорит, что нет robots.txt файл.

Это заголовок, который я получаю:


Cache-Control →no-cache
Connection →keep-alive
Content-Disposition →inline; filename="robots.txt"Content-Encoding →gzip
Content-Type →text/plain; charset=UTF-8
Date →Wed, 23 Mar 2016 11:36:44 GMT
Server →nginx/1.9.12
Transfer-Encoding →chunked
Vary →Accept-Encoding

Это мой мой маршрут Laravel:

Route::get('robots.txt', 'TxtController@robots');

И это метод:


public function robots(){
return response()->view('txt.robots')->header('Content-Type', 'text/plain')->header('Content-Disposition', 'inline; filename="robots.txt"');
}

Я пробовал с Content-Disposition →attachment; filename="robots.txt" но Google продолжает говорить, что нет robots.txt файл.

Я пытался удалить Content-Disposition и все еще не работает из Google Web Master Tools (работает в браузере)

Это мое конфигурация nginx, может быть здесь что-то не так:

« `

server {
listen 80 default_server;
listen [::]:80 default_server;
server_name mydomain.com;
root /home/forge/mydomain.com/public;

# FORGE SSL (DO NOT REMOVE!)
# ssl_certificate;
# ssl_certificate_key;

ssl_protocols TLSv1 TLSv1.1 TLSv1.2;

index index.html index.htm index.php;

charset utf-8;location / {
try_files $uri $uri/ /index.php?$query_string;
}

location = /favicon.ico { access_log off; log_not_found off; }
#location = /robots.txt  { access_log off; log_not_found off; }

#location = /robots.txt {
#    try_files $uri $uri/ /index.php?$args;
#    access_log off;
#    log_not_found off;
#}

access_log off;
error_log  /var/log/nginx/mydomain.com-error.log error;

error_page 404 /index.php;

location ~ \.php$ {
fastcgi_split_path_info ^(.+\.php)(/.+)$;
fastcgi_pass unix:/var/run/php5-fpm.sock;
fastcgi_index index.php;
include fastcgi_params;
}

location ~ /\.ht {
deny all;
}# Expire rules for static content

# cache.appcache, your document html and data
location ~* \.(?:manifest|appcache|html?|xml|json)$ {
expires -1;
# access_log logs/static.log; # I don't usually include a static log
}

# Feed
location ~* \.(?:rss|atom)$ {
expires 1h;
add_header Cache-Control "public";
}

# Media: images, icons, video, audio, HTC
location ~* \.(?:jpg|jpeg|gif|png|ico|cur|gz|svg|svgz|mp4|ogg|ogv|webm|htc)$ {
expires 1M;
access_log off;
add_header Cache-Control "public";
}

# CSS, Javascript and Fonts
location ~* \.(?:css|js|woff|ttf|eot)$ {
expires 1y;
access_log off;
add_header Cache-Control "public";
}
}
```

Спасибо.

1

Решение

Когда я проверяю http://www.google.com/robots.txt заголовки ответа HTTP:

Cache-Control:private, max-age=0
Content-Encoding:gzip
Content-Length:1574
Content-Type:text/plain
Date:Wed, 23 Mar 2016 12:07:44 GMT
Expires:Wed, 23 Mar 2016 12:07:44 GMT
Last-Modified:Fri, 04 Mar 2016 19:02:51 GMT
Server:sffe
Vary:Accept-Encoding
X-Content-Type-Options:nosniff
X-XSS-Protection:1; mode=block

Почему бы не пропустить Content-Disposition заголовок и просто вывести текст с Content-Type:text/plain заголовок?

Также…

  • Вы уверены, что ваш robots.txt URL доступен из внешнего мира? Возможно, используйте прокси для двойной проверки.
  • Ваш выход UTF-8 закодирован?

Увидеть https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt для получения дополнительной информации

1

Другие решения

Я решил это, добавив заголовок Content-length. Результат кода такой:

    $response = response()->view('txt.robots')->header('Content-Type', 'text/plain');
$response->header('Content-Length',strlen($response->getOriginalContent()));

return $response;

Надеюсь, это поможет. Спасибо за ваши ответы.

1

Content-Disposition заголовок используется для принудительной загрузки файла в браузере. Это, вероятно, смущает бот Google — попробуйте дать файл без него:

public function robots(){
return response()->view('txt.robots')->header('Content-Type', 'text/plain');
}
0
По вопросам рекламы [email protected]