Файл robots.txt: настройка без ошибок

Файл robots.txt — один из самых маленьких и одновременно самых опасных файлов на сайте. В нём может быть всего пять строк, но одна неверная строка способна выкинуть из поиска весь ресурс. Истории о том, как после переноса с тестового сервера на рабочий забыли убрать запрет на индексацию и месяц удивлялись падению трафика, знакомы почти каждому, кто давно занимается сайтами.

При этом вокруг robots.txt множество мифов. Одни думают, что через него можно удалить страницу из выдачи. Другие закрывают в нём скрипты и стили, считая их ненужными роботу. Третьи копируют огромные файлы с чужих сайтов, не понимая, что в них написано.

Разберёмся, как устроен robots.txt, какие директивы в нём реально работают, что стоит закрывать, а что категорически нельзя, и как проверить файл, прежде чем он наделает бед.

Что такое robots.txt и как он работает

Robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы им можно обходить, а какие нет. Он всегда находится по адресу «домен/robots.txt» и должен отдаваться с кодом ответа 200. Поисковый робот, приходя на сайт, первым делом запрашивает этот файл и следует его правилам.

Принципиально важно понимать: robots.txt управляет обходом, а не индексацией. Запрет в robots.txt говорит роботу «не заходи сюда», но не говорит «не показывай в поиске». Если на закрытую страницу ведут внешние ссылки, поисковик может включить её адрес в выдачу без описания — просто потому, что знает о её существовании, но не видел содержимого.

Ещё одна важная деталь: robots.txt — это рекомендация для добросовестных роботов. Крупные поисковые системы её соблюдают, но парсеры, сборщики контента и вредоносные боты могут игнорировать. Поэтому закрывать в robots.txt конфиденциальные данные бесполезно — более того, вы фактически публикуете список разделов, которые хотели бы скрыть.

Синтаксис и основные директивы

Файл состоит из групп правил. Каждая группа начинается с указания робота, к которому она относится, затем следуют правила.

User-agent

Звёздочка означает «все роботы». Можно задавать отдельные группы для конкретных роботов, указывая их имя. Робот выбирает наиболее конкретную подходящую ему группу и следует только ей, игнорируя общую. Это частая ловушка: если вы создали отдельную группу для одного поисковика, общие правила со звёздочкой на него уже не распространяются, и их нужно продублировать.

Disallow и Allow

Значение — путь от корня сайта. «Disallow: /» запрещает весь сайт, «Disallow:» с пустым значением не запрещает ничего. При конфликте правил крупные поисковики применяют наиболее длинное, то есть самое конкретное совпадение. Если длины равны, приоритет обычно получает Allow.

Спецсимволы

Звёздочка внутри пути означает любую последовательность символов, знак доллара в конце — конец адреса. Например, «Disallow: /*?sort=» закроет все адреса с параметром сортировки, а «Disallow: /*.pdf$» — все PDF-файлы.

Sitemap

Указание карты сайта не обязательно, но полезно: роботы быстрее найдут её. Директива межсекционная, её можно поставить в любом месте файла, адрес должен быть полным, с протоколом.

Что стоит закрывать от обхода

Цель robots.txt — не дать роботу тратить ресурсы на страницы, которые не нужны в поиске, и сфокусировать обход на важном. Типичные кандидаты на закрытие:

• Административная часть. Панель управления, служебные скрипты, страницы входа.
• Результаты внутреннего поиска. Бесконечное количество комбинаций, тонкий контент, риск появления спамных страниц.
• Корзина, оформление заказа, личный кабинет. Персональные страницы, бесполезные для поиска.
• Параметры сортировки и отображения. Сортировка по цене, количество товаров на странице, вид списка — порождают дубли.
• Служебные параметры отслеживания. Метки рекламных кампаний, идентификаторы сессий — лучше обрабатывать через Clean-param или канонические адреса, но для некоторых случаев подходит и запрет.
• Технические дубли. Версии для печати, страницы сравнения, генерируемые фильтрами комбинации, не имеющие спроса.
• Тестовые разделы и временные файлы. Хотя их лучше вообще не держать на рабочем сервере.

Что закрывать нельзя

Не менее важен список того, что в robots.txt оказываться не должно.

CSS, JavaScript и изображения

Современные поисковики рендерят страницы так же, как браузер. Если закрыть стили и скрипты, робот увидит сломанную страницу без вёрстки и может решить, что она не адаптирована для мобильных или что важный контент отсутствует. Все ресурсы, необходимые для отображения страницы, должны быть доступны.

Страницы, которые нужно убрать из индекса

Это главный парадокс. Если страница уже в индексе и вы хотите её оттуда убрать, закрывать её в robots.txt нельзя. Робот перестанет заходить на неё, не увидит метатег запрета индексации — и страница может остаться в выдаче надолго. Правильный порядок: сначала метатег noindex, дождаться удаления из индекса, и только потом, если нужно, запрет обхода.

Страницы с каноническими ссылками

Если страница-дубль указывает на каноническую, робот должен её посетить, чтобы увидеть эту ссылку. Запрет в robots.txt лишает канонический адрес смысла.

Страницы с перенаправлениями

Робот должен иметь возможность пройти по старому адресу и увидеть 301-й код, чтобы передать вес новой странице.

Robots.txt, noindex и канонические адреса: что когда

Путаница между этими инструментами — источник большинства ошибок. Сведём их различия.

Главное правило: robots.txt и noindex на одной странице не сочетаются. Если страница закрыта от обхода, робот никогда не увидит noindex.

Примеры для разных типов сайтов

Универсального файла не существует — каждый сайт уникален по структуре. Но есть типовые паттерны.

Небольшой сайт-визитка

Часто ему достаточно минимального файла: общая группа для всех роботов, запрет административной части и указание карты сайта. Закрывать здесь почти нечего, и это нормально. Пустой или почти пустой robots.txt лучше, чем перегруженный бессмысленными правилами.

Блог на популярной CMS

Обычно закрывают служебные каталоги движка, страницы поиска, иногда — ленты комментариев и архивы по авторам, если они дублируют основной контент. При этом обязательно оставляют открытыми каталоги с темами оформления, плагинами и загруженными файлами, иначе пострадает рендеринг.

Интернет-магазин

Самый сложный случай. Закрывают корзину, оформление заказа, личный кабинет, сравнение, параметры сортировки и количества товаров на странице, служебные фильтры без поискового спроса. Фильтры, по которым есть спрос и для которых сделаны полноценные посадочные страницы, оставляют открытыми. Здесь важно согласовать robots.txt со стратегией работы с фильтрами в целом.

Типичные ошибки

Эти ошибки встречаются при аудитах снова и снова.

1. Забытый запрет всего сайта. «Disallow: /» с тестового сервера перенесён на рабочий. Сайт постепенно выпадает из поиска.
2. Закрытые ресурсы. Каталоги со стилями и скриптами запрещены, робот видит страницу без оформления.
3. Неправильный регистр. Пути в robots.txt чувствительны к регистру: «/Admin/» и «/admin/» — разные правила.
4. Отсутствие слеша. «Disallow: /blog» закроет не только раздел блога, но и все адреса, начинающиеся с этих символов, например «/blog-novosti» или «/blogger». Если нужен только каталог — ставьте слеш в конце.
5. Отдельная группа без дублирования общих правил. Создали группу для конкретного поисковика и забыли, что общие правила на него больше не действуют.
6. Попытка удалить страницу из индекса через Disallow. Страница остаётся в выдаче без описания.
7. Файл отдаёт ошибку. Если robots.txt отдаёт серверную ошибку, некоторые роботы временно прекращают обход сайта полностью. Если отдаёт 404, роботы считают, что ограничений нет.
8. Кодировка и мусор в файле. Невидимые символы в начале файла, неправильная кодировка, HTML-разметка вместо текста — всё это может привести к тому, что правила не будут прочитаны.
9. Копирование чужого файла. Правила с чужого сайта, написанные под другую CMS и структуру, могут закрыть у вас важные разделы.

Как проверить robots.txt

Перед публикацией изменений и регулярно после — проверяйте файл. В панелях вебмастера обеих крупных поисковых систем есть инструменты анализа robots.txt: они показывают, как робот читает файл, подсвечивают синтаксические ошибки и позволяют проверить, разрешён ли обход конкретного URL.

Рабочий порядок проверки:

• откройте файл в браузере и убедитесь, что он отдаётся, читается и содержит ожидаемые правила;
• проверьте в инструменте панели вебмастера синтаксис;
• прогоните через проверку список ключевых страниц сайта — главную, категории, важные статьи и карточки — и убедитесь, что они разрешены;
• прогоните служебные адреса и убедитесь, что они запрещены;
• просканируйте сайт краулером с учётом robots.txt и сравните с полным сканированием — так видно, что именно отсекается.

После существенных изменений следите за отчётами об индексировании в панелях вебмастера в течение нескольких недель. Резкое падение числа проиндексированных страниц — сигнал немедленно проверить файл.

Итог

Robots.txt — инструмент управления обходом, а не индексацией. Используйте его, чтобы направить роботов на важные разделы и отсечь служебные страницы, бесконечные параметры и технические дубли. Не закрывайте стили, скрипты и изображения, не пытайтесь с его помощью удалить страницы из выдачи и не сочетайте запрет обхода с noindex и каноническими адресами.

Держите файл коротким и понятным, пишите правила под свою структуру, а не копируйте чужие, проверяйте каждое изменение в инструментах панелей вебмастера. И при любом переносе сайта первым делом открывайте robots.txt — эта пятисекундная проверка может сэкономить месяцы восстановления позиций.