Страница есть, а в поиске её нет: чек-лист по индексации

Один из самых частых вопросов: «Мы опубликовали страницу месяц назад, а в поиске её до сих пор нет». Причин бывает много, поэтому удобнее идти по списку сверху вниз и отсекать варианты.

1. Отдаёт ли страница код 200

Звучит банально, но редиректы, 404 после смены URL и «мягкие» 404 встречаются постоянно. Проверить можно в консоли:

curl -I https://example.com/page/

Если в ответе не 200 OK, дальше можно не смотреть: сначала нужно разобраться с ответом сервера.

2. Не закрыта ли страница в robots.txt

Ищем правила Disallow, которые могут задевать нужный раздел. Особенно коварны широкие правила вроде Disallow: /*?, если на сайте используются параметры в URL.

3. Мета-тег robots и заголовок X-Robots-Tag

Тег <meta name="robots" content="noindex"> часто остаётся после разработки на тестовом стенде. Не забудьте и про HTTP-заголовок X-Robots-Tag: его не видно в коде страницы.

4. Canonical

Если canonical указывает на другую страницу, поисковик вправе показывать именно её. Проверьте, что адрес в canonical совпадает с самой страницей, включая слеш на конце и протокол.

5. Знает ли поисковик о странице вообще

• есть ли страница в sitemap.xml;
• ведут ли на неё внутренние ссылки;
• не находится ли она в пяти кликах от главной.

Страница, на которую не ведёт ни одна ссылка, — сирота. Поисковики находят такие страницы плохо, даже если они есть в sitemap.

6. Качество и дубли

Если технически всё в порядке, а страница всё равно не попадает в индекс, стоит посмотреть на содержимое. Почти пустые страницы и страницы, которые повторяют уже существующие, поисковики нередко пропускают.