GOOGLE & robots.txt для 1С-Битрикс

В течении этой недели многие web-мастера получили от Google письма и сообщения следующего содержания (см. рис. 1, рис. 2).

Рис. 1.

Мы уже писали о том что Google начал оценивать удобство пользования сайтом на мобильных устройствах и предоставили один из инструментов оптимизации. Для оценки удобства просмотра сайта на мобильном устройстве роботу Google нужны JS и CSS файлы влияющие на отображение страницы, а из-за настроек robots.txt он не может этого сделать.

Дело в том что в стандартных настройках robots.txt для 1С-Битрикс закрывается директория /bitrix/, а в ней хранится кеш JS и CSS файлов!

Сам 1С-Битрикс в одной из статей на habrahabr приводит пример дополнительных настроек robots.txt.

1C-Битрикс советует открыть пять разделов:

Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/components/
Allow: /bitrix/panel/

Но при соблюдении современных стандартов разработки эти правила избыточны, на своих проектах мы используем следующий стандарт дополнительных настроек файла robots.txt для Google.

Резонный вопрос — «Почему не подходит вариант от самого 1С-Битрикс?»

Пройдемся по каждой строчке.

1. «Allow: /bitrix/cache/» — открывается доступ ко всему кешу, но помимо JS и CSS там хранится уйма *.php файлов с кешем и индексировать их не нужно.
2. «Allow: /bitrix/js/» — открывается доступ к JS базовой поставки БУС, но JS используемый в публичной части будет закеширован и сменит прописку на — /bitrix/cache/js/.
3. «Allow: /bitrix/templates/» — открывается доступ к шаблонам сайта, но это OLD_SCHOOL, уже 2 с лишним года доступна папка /local/ в которой находится весь custom разработчика, в том числе шаблоны сайтов, компоненты, CSS, JS и прочие файлы. Этой директивой можно воспользоваться на древних проектах, собранных без использования /local/.
4. «Allow: /bitrix/components/» — открывается доступ к компонентам, во первых есть /local/, во вторых если в компоненте подключается CSS, то он кешируется, подключается к общей CSS таблице и хранится тут — /bitrix/cache/css/, со скриптами аналогично.
5. «Allow: /bitrix/panel/» — открывается доступ к файлам панели управления. Тут совсем ничего не понятно, кто-то будет давать Google индексировать интерфейс Эрмитаж? =)

Из всего вышеперечисленного делаем вывод что предложенный 1С-Битрикс’ом вариант не подходит, для себя мы оставили только следующее:

Allow: /bitrix/cache/js/
Allow: /bitrix/cache/css/

К сожалению в автоматически генерируемом robots.txt от 1С-Битрикс БУС этих директив нет, для того чтобы не забывать их проставлять, в обновлении 1.0.8 нашего решения Klondike.tools будет доработан валидатор robots.txt.

UPD

В новых версиях Bitrix внедрил вышеупомянутые четыре строчки в стандартный набор robots.txt. Теперь придется не только добавлять нужные строчки в robots, но и убирать ненужные =).