Файлы robots.txt и sitemap.xml это два служебных документа, которые управляют тем, как поисковые роботы обходят и индексируют ваш сайт. Один говорит, куда роботу можно заходить, второй показывает полный список страниц для индексации. Ошибка в любом из них способна закрыть от поиска весь сайт, поэтому настройка требует аккуратности.
Зачем нужен robots.txt
robots.txt это текстовый файл в корне сайта, который задаёт роботам правила обхода. В нём закрывают от индексации технические разделы, корзину, личный кабинет, страницы поиска и фильтры, которые плодят дубли. Грамотный robots.txt бережёт лимит обхода и не пускает в индекс мусор.
- Закрытие служебных и технических разделов сайта
- Запрет на индексацию корзины, оформления заказа и кабинета
- Скрытие страниц внутреннего поиска и параметров фильтрации
- Указание адреса карты сайта через директиву Sitemap
- Управление обходом для разных поисковых роботов
Зачем нужен sitemap.xml
sitemap.xml это карта сайта в формате XML, где перечислены все страницы, которые вы хотите видеть в индексе. Она помогает роботам быстрее находить новые и обновлённые страницы, особенно на больших сайтах со сложной структурой. Карту указывают в Яндекс.Вебмастере и в самом robots.txt.
- Полный список страниц, открытых для индексации
- Дата последнего изменения каждой страницы
- Ускоренное обнаружение новых разделов роботами
- Автоматическое обновление карты при добавлении страниц
- Передача карты в панель вебмастера для контроля индексации
robots.txt и sitemap.xml должны быть согласованы: то, что закрыто в robots, не должно попадать в карту сайта. Противоречие между файлами путает робота и роняет индексацию.
Частые ошибки настройки
Большинство проблем с индексацией это не сложные алгоритмы, а банальные ошибки в этих двух файлах. Самая опасная остаётся с этапа разработки: запрет на индексацию всего сайта забывают снять при переносе на боевой домен, и проект месяцами не виден в поиске.
- Полный запрет индексации, забытый после запуска сайта
- Закрытые по ошибке важные разделы с товарами или услугами
- Карта сайта со старыми, удалёнными или закрытыми страницами
- Отсутствие ссылки на sitemap.xml внутри robots.txt
- Карта сайта, которая не обновляется при добавлении страниц
- Адреса в карте с неверным протоколом или зеркалом домена
Как проверить настройку
После правок проверьте оба файла через инструменты в Яндекс.Вебмастере: анализ robots.txt покажет, какие страницы разрешены и запрещены, а отчёт по карте сайта найдёт ошибки в адресах. Контроль занимает минуты, но избавляет от месяцев простоя в поиске.
Если вы не уверены, что robots.txt и sitemap.xml на вашем сайте настроены верно, это стоит проверить до начала продвижения. Мы приведём оба файла в порядок, закроем дубли, откроем нужные разделы и передадим карту в панель вебмастера. Заказать настройку индексации можно в составе технического SEO: стоимость от 10 000 руб.