Как настроить robots.txt и карту сайта в 1С-Битрикс
В 1С-Битрикс и robots.txt, и карта сайта генерируются штатно: в настройках модуля поиска и SEO есть готовые инструменты, которые знают про служебные адреса продукта. Писать файл руками с нуля обычно не нужно.
Как настроить
- Откройте в административной части управление robots.txt.
- Создайте файл по шаблону для вашего сайта — служебные разделы продукта попадут в него сами.
- Добавьте свои правила: фильтры, сортировки, технические параметры адресов, которые плодят дубли.
- Укажите адрес карты сайта строкой Sitemap.
- Перейдите к генерации карты сайта и выберите разделы и инфоблоки, которые в неё входят.
- Включите автоматическое обновление карты и убедитесь, что cron настроен.
- Проверьте результат: откройте оба файла по адресу и отправьте карту в вебмастер.
Что закрывать, а что нет
- Закрывать: административную часть, авторизацию и личный кабинет, страницы поиска, сортировки и сравнения, служебные обработчики.
- Не закрывать: каталог, карточки товаров, статьи, страницы услуг — даже если они кажутся похожими. Дубли лечатся каноническими адресами, а не запретом.
- Осторожно: запрет каталога со стилями и скриптами мешает роботам отрисовать страницу и оценить её мобильную версию.
Проверка
После изменений посмотрите в вебмастере, какие страницы робот считает исключёнными и по какой причине: это самый быстрый способ увидеть ошибку в правилах. Если после правок трафик просел, первым делом проверяйте именно robots.txt — случайный запрет целого раздела выглядит как «что-то случилось с поиском».
Частые вопросы
Что обязательно закрывать в robots.txt на Битриксе?
Служебные каталоги и технические адреса: административную часть, каталоги личного кабинета и авторизации, страницы поиска, сортировки и сравнения, обработчики форм. Контентные страницы закрывать не нужно — для исключения из выдачи есть мета-тег robots.
Карта сайта не обновляется. Почему?
Генерация карты выполняется агентом, а агенты без cron срабатывают только при посещениях сайта. Проверьте cron и настройки генерации: часто карта собрана один раз и с тех пор не пересобиралась.
Нужно ли указывать sitemap в robots.txt?
Да, строкой Sitemap с полным адресом. Это не отменяет отправку карты в вебмастере, но помогает роботам найти её, особенно если карт несколько.
