Войти

Стандартные требования к robots.txt

  • Директива sitemap должен отдаваться по  тому же протоколу что и основной сайт (по умолчанию HTTPS)
  • Директива sitemap должен отдаваться по  с основного зеркала сайта настроенного в .htaccess .
  • Sitemap: https://site.ru/sitemap.xml
    

  • С стандартный robots.txt после записи "Disallow: /bitrix/" нужно добавить еще две строчки. Это необходимо для скачивания и индексирования Google css и js кеша сайта когда у него отключен CDN.
  • Disallow: /bitrix/
    Allow: /bitrix/cache/js/
    Allow: /bitrix/cache/css/
    

  • Если сайт отдается по HTTPS то протокол должен быть указан явно
  • Host: https://klondike-studio.ru
    

  • robots.txt должен пройти проверку в яндекс и не содержать ни одной ошибки.


Оставить комментарий