robots.txt и Sitemap: базовая проверка индексации сайта

Сначала определите полезный индекс

Составьте список типов страниц, которые должны находиться в поиске: услуги, категории, товары, статьи, контакты и локальные страницы. Отдельно перечислите служебные фильтры, результаты внутреннего поиска, дубли параметров и тестовые URL.

Без этой карты техническая настройка превращается в угадывание. Команда может случайно закрыть важную страницу или, наоборот, отправить роботу тысячи вариантов фильтра.

Проверка robots.txt

Откройте файл по корневому адресу и убедитесь, что он отвечает кодом 200, не закрывает стили и скрипты, не содержит тестового Disallow для всего сайта и указывает актуальный Sitemap. Учитывайте группы правил для разных роботов.

Не используйте robots.txt как единственный способ убрать конфиденциальную страницу. Запрещенный URL может быть известен поиску по внешней ссылке. Для чувствительных данных нужна авторизация, а для управления индексированием - подходящие метатеги и коды ответа.

• файл доступен без редиректной петли;
• нет случайного запрета важных разделов;
• служебные разделы описаны осознанно;
• указан полный URL актуального Sitemap.

Проверка Sitemap

В карту включайте канонические URL с кодом 200, которые открыты для обхода. Удалите редиректы, ошибки 404, страницы с запретом индексирования и дубли. Дата изменения должна отражать реальное обновление материала.

После загрузки в Вебмастер смотрите статус обработки, но не ожидайте немедленной индексации всех адресов. Sitemap сообщает структуру, а решение об обходе и показе зависит от качества и доступности страниц.

Согласованность сигналов

Для выборочных URL сравните внутреннюю ссылку, canonical, статус индексации, robots, Sitemap и код ответа. Страница не должна одновременно присутствовать в карте, канонизироваться на другой адрес и закрываться от обхода.

Повторяйте проверку после редизайна, смены CMS, добавления фильтров и переезда. Большинство проблем появляется не в момент первой настройки, а после последующих изменений сайта.