Стандартные требования к robots.txt

Robots.txt не имеет официального RFC. Поисковые системы могут реагировать по разному на одни и те же директивы. А так же со временем теоретически менять свои требования.
  • Директива sitemap должен отдаваться по тому же протоколу что и основной сайт (по умолчанию HTTPS)
  • Директива sitemap должен отдаваться по с основного зеркала сайта настроенного в .htaccess. 
    Sitemap: https://site.ru/sitemap.xml
  • С стандартный robots.txt после записи "Disallow: /bitrix/" нужно добавить еще две строчки. Это необходимо для скачивания и индексирования Google css и js кеша сайта когда у него отключен CDN. 
    Disallow: /bitrix/
Allow: /bitrix/cache/js/
Allow: /bitrix/cache/css/
  • Если сайт отдается по HTTPS то протокол должен быть указан явно 
    Host: https://klondike-studio.ru
  • robots.txt должен пройти проверку в яндекс и не содержать ни одной ошибки.

Оставить комментарий