Карта сайта sitemap.xml: зачем и как

Карта сайта в формате XML — один из самых недооценённых технических файлов. Многие вебмастера ставят плагин, который генерирует sitemap.xml «как-нибудь», и больше никогда туда не заглядывают. А потом удивляются, почему новые статьи неделями не попадают в индекс, а в отчётах поисковых систем висят сотни адресов с ошибками.

На самом деле sitemap — это не формальность, а инструмент управления обходом. Через него вы говорите поисковому роботу: «вот страницы, которые я считаю важными, вот когда они менялись, приходи сюда в первую очередь». Робот не обязан слушаться, но хорошо составленная карта заметно ускоряет обнаружение нового контента и помогает найти проблемы со структурой.

Разберём, зачем нужен файл, как он устроен, что в него включать и чего избегать, а также как проверять карту на практике.

Что такое sitemap.xml и чем он отличается от HTML-карты

Слово «карта сайта» обозначает две разные вещи. Первая — HTML-карта: обычная страница со списком ссылок на разделы, рассчитанная на людей. Её делали ещё в эпоху каталогов, и сегодня она уместна разве что на крупных порталах со сложной навигацией. Вторая — XML-карта: машиночитаемый файл, который посетители никогда не видят, но который читают поисковые роботы.

XML-карта следует открытому протоколу Sitemaps, который поддерживают и Яндекс, и Google, и другие поисковики. Формат простой: корневой элемент urlset, внутри — набор элементов url, у каждого обязательный тег loc с полным адресом страницы и необязательные lastmod, changefreq, priority.

Ключевая разница в назначении. HTML-карта улучшает навигацию и немного помогает перелинковке. XML-карта — это канал прямой коммуникации с роботом, она не влияет на ранжирование напрямую, но влияет на то, как быстро и полно страницы попадут в базу поисковика.

Зачем нужна карта, если есть внутренние ссылки

Резонный вопрос: робот ведь и так ходит по ссылкам, зачем ему отдельный список? Действительно, для небольшого сайта визитки из десяти страниц с нормальным меню карта почти ничего не меняет. Но в ряде ситуаций она критически важна.

• Большой сайт. Интернет-магазин на десятки тысяч товаров, где часть карточек доступна только через фильтры или глубокую пагинацию. Без карты робот может месяцами не доходить до четвёртого уровня вложенности.
• Молодой сайт. На новый домен почти нет внешних ссылок, краулинговый бюджет минимален. Карта подсказывает, что вообще существует.
• Часто обновляемый контент. Новостные ленты, блоги, доски объявлений. Тег lastmod помогает роботу понять, что именно изменилось, и не тратить время на неизменные страницы.
• Слабая перелинковка. Страницы-сироты, на которые не ведёт ни одна внутренняя ссылка, — частая история после редизайнов. Карта хотя бы позволяет их найти.
• Мультимедийный контент. Для изображений и видео существуют расширения протокола, позволяющие передать дополнительные сведения.

Кроме того, карта — отличный диагностический инструмент. Сравнив количество адресов в sitemap с числом проиндексированных страниц в панели вебмастера, вы сразу видите масштаб проблемы: если в карте 5 000 адресов, а в индексе 1 200, надо разбираться, почему.

Структура файла: обязательные и необязательные теги

Минимально валидная запись в карте содержит только адрес. Всё остальное — подсказки, к которым поисковики относятся по-разному.

Самый полезный из необязательных тегов — lastmod. Но только при одном условии: дата должна отражать реальное изменение содержимого. Если CMS ставит текущую дату всем страницам при каждой генерации, поисковик быстро понимает, что сигнал недостоверен, и перестаёт ему доверять. Правильно обновлять lastmod при правке текста, цены, наличия, а не при смене счётчика просмотров или обновлении виджета в сайдбаре.

С priority многие перебарщивают, выставляя 1.0 всем страницам. Это бессмысленно: приоритет относителен внутри сайта, и если важно всё, значит, не важно ничего. Лучше вообще не заполнять тег, чем заполнять одинаковыми значениями.

Какие страницы включать, а какие нет

Главное правило: в карте должны быть только канонические, индексируемые страницы, отдающие код ответа 200. Карта — это список того, что вы хотите видеть в поиске. Всё, что противоречит этой идее, создаёт шум и путает робота.

Включать

• главную и ключевые разделы;
• карточки товаров и услуг, которые есть в наличии или имеют ценность для поиска;
• статьи блога, новости, обзоры;
• посадочные страницы под коммерческие запросы;
• полезные страницы категорий и тегов, если они не дублируют друг друга.

Не включать

• страницы, закрытые в robots.txt или мета-тегом noindex;
• адреса с редиректами — указывайте конечный URL;
• неканонические версии: адреса с UTM-метками, параметрами сортировки, идентификаторами сессий;
• страницы с ошибками 404 и 5xx;
• служебные разделы: корзина, личный кабинет, поиск по сайту, страницы авторизации;
• дубли, у которых canonical указывает на другой адрес.

Ограничения формата и индексная карта

Протокол накладывает лимиты: один файл может содержать не более 50 000 адресов и весить не более 50 МБ в несжатом виде. Для большинства сайтов этого хватает с запасом, но крупным магазинам и порталам приходится разбивать карту на части.

Для этого используется индексный файл sitemap — карта карт. Он содержит не страницы, а ссылки на отдельные файлы sitemap. Удобно делить карту не просто по количеству, а по смыслу:

1. sitemap-pages.xml — статичные страницы и разделы;
2. sitemap-categories.xml — категории каталога;
3. sitemap-products-1.xml, sitemap-products-2.xml — товары частями;
4. sitemap-blog.xml — статьи и новости.

Такое деление даёт огромное преимущество в анализе. В панели вебмастера можно посмотреть статистику индексации по каждому файлу отдельно и сразу понять, что, например, статьи индексируются почти полностью, а товары — едва на треть. Это мгновенно сужает поиск проблемы.

Файлы можно отдавать в сжатом виде с расширением .xml.gz — это экономит трафик, а поисковики корректно читают gzip. Лимит в 50 МБ при этом относится к распакованному файлу.

Как создать карту: плагины, генераторы, скрипты

Способ генерации зависит от платформы и размера проекта.

Встроенные средства CMS. Большинство современных движков умеют создавать карту из коробки или через популярные модули. Это лучший вариант для типовых сайтов: карта обновляется автоматически при публикации и удалении материалов. Важно лишь проверить настройки — исключить служебные типы записей, архивы по датам, вложения, страницы авторов, если они не несут ценности.

Онлайн-генераторы и десктопные краулеры. Программа обходит сайт как робот и формирует список найденных страниц. Подходит для статичных сайтов, которые редко меняются. Минус — карта не обновляется сама, и при каждом изменении её нужно пересоздавать. Плюс — заодно вы получаете аудит: краулер покажет битые ссылки и редиректы.

Собственный скрипт. Для нестандартных систем и крупных проектов карту генерируют программно прямо из базы данных. Скрипт выбирает опубликованные, индексируемые материалы, подставляет реальную дату изменения и пишет файлы по расписанию или по событию. Это самый точный способ, потому что логика полностью под вашим контролем.

Какой бы способ вы ни выбрали, после генерации обязательно откройте файл в браузере и просмотрите хотя бы выборочно: нет ли там адресов с параметрами, тестовых страниц, ссылок на старый домен или протокол http после переезда на https.

Как сообщить поисковикам о карте

Положить файл в корень сайта недостаточно — нужно, чтобы роботы о нём узнали. Есть два основных способа, и лучше использовать оба.

Директива в robots.txt. В любом месте файла добавляется строка Sitemap с полным адресом карты. Директива межсекционная, то есть не привязана к конкретному User-agent и читается всеми роботами. Если карт несколько, можно указать каждую отдельной строкой или сослаться на индексный файл.

Панели вебмастеров. В Яндекс Вебмастере есть раздел «Файлы Sitemap» в группе индексирования, в Google Search Console — отчёт «Файлы Sitemap». Добавив карту туда, вы получаете статистику: когда файл последний раз загружался, сколько адресов обнаружено, есть ли ошибки разбора. Это главное преимущество ручного добавления — обратная связь.

После добавления не ждите мгновенного результата. Первая обработка может занять от нескольких часов до нескольких дней. Повторно отправлять ту же карту каждый день бессмысленно: робот сам периодически перечитывает файл.

Типичные ошибки и как их найти

За годы аудитов чаще всего встречаются одни и те же проблемы. Вот краткий перечень с подсказками по диагностике.

Отдельно стоит упомянуть спецсимволы. В XML амперсанд, кавычки и угловые скобки должны быть экранированы. Если в адресах встречаются параметры через амперсанд, а генератор их не экранирует, файл ломается целиком, и робот не прочитает ни одной записи. Поэтому после любой правки логики генерации прогоняйте файл через валидатор в панели вебмастера.

Карта сайта как инструмент аудита

Опытный сеошник использует sitemap не только для подачи страниц, но и для регулярной проверки здоровья сайта. Несколько приёмов, которые стоит взять на вооружение.

Сравнение карты и индекса. Выгрузите список адресов из карты и список проиндексированных страниц из панели вебмастера. Адреса из карты, которых нет в индексе, — кандидаты на разбор: возможно, они слишком похожи на другие страницы, слабые по контенту или робот признал их малоценными.

Сравнение карты и краулинга. Запустите краулер по сайту и сопоставьте найденные по ссылкам страницы с картой. Адреса, которые есть в карте, но не найдены по ссылкам, — сироты, им нужна внутренняя перелинковка. Адреса, найденные краулером, но отсутствующие в карте, — либо мусор, который надо закрыть, либо забытые полезные страницы.

Мониторинг кодов ответа. Раз в неделю простой скрипт может пройтись по карте и проверить, что все адреса отдают 200. Любое отклонение сигнализирует о сбое: удалённые товары, сломанные шаблоны, проблемы с сервером.

Такой регулярный контроль занимает минимум времени, но позволяет ловить проблемы до того, как они отразятся на трафике.

Итог

Карта сайта sitemap.xml — простой файл с большим влиянием на скорость и полноту индексации. Чтобы он работал на вас, а не против, придерживайтесь нескольких принципов:

• включайте только канонические страницы с кодом 200, открытые для индексации;
• указывайте честный lastmod и не тратьте силы на priority и changefreq;
• разбивайте большие карты по смыслу через индексный файл;
• сообщайте о карте и через robots.txt, и через панели вебмастеров;
• генерируйте файл автоматически из базы, чтобы он всегда был актуален;
• используйте карту для регулярной диагностики индексации.

Потратьте час на настройку карты один раз — и она будет годами экономить время роботам и вам. А освободившийся краулинговый бюджет поисковик направит туда, где он действительно нужен: на ваши новые и обновлённые страницы.