Что означает Meta Robots простыми словами
Директиву робот увидит только если может загрузить URL. Поэтому одновременно запрещать обход в robots.txt и ожидать обработки noindex обычно неправильно.
Meta Robots задаёт инструкции для конкретного HTML-документа: индексировать ли его и как обращаться со ссылками или сниппетом. Робот должен сначала получить страницу, чтобы увидеть директиву.
Пример
На служебной странице оставили доступ к обходу, но указали meta robots noindex, чтобы исключить её из поиска.
Как применять на практике
- Проверьте итоговый HTML и HTTP-заголовки на противоречивые директивы.
- Убедитесь, что робот может сканировать URL и прочитать meta robots.
- После изменения отслеживайте статус страницы в инструментах поисковика.
Частые ошибки
- Одновременно ставить index и noindex в разных компонентах.
- Закрывать URL в robots.txt и ожидать, что робот увидит noindex.
- Считать отсутствие тега запретом индексации.