Индексация сайта в Google: как проверить и ускорить через Search Console

Индексация сайта в Google не начинается автоматически сразу после запуска. Нужно проверить доступ робота, sitemap и настройки отдельных страниц в Search Console. Для нового сайта первые результаты могут появиться за несколько дней или недель. Ошибки в robots.txt, noindex, серверные сбои и дубли способны исключить из поиска даже важные коммерческие URL.

Как Google находит и индексирует страницы

Google сначала обнаруживает URL, затем загружает страницу, анализирует её содержимое и решает, добавлять ли адрес в индекс. На новом сайте проверка может занять несколько дней или недель. Sitemap, внутренние ссылки и ручной запрос в Search Console помогают обнаружить страницу быстрее, но не заставляют поисковик принять её в индекс.

У процесса есть три разных этапа, которые часто смешивают:

• Обнаружение - Google узнал об URL из sitemap, внутренней ссылки, внешнего ресурса или ранее посещённой страницы.
• Сканирование - робот Googlebot открыл адрес и получил его содержимое.
• Индексация - поисковик сохранил страницу в своей базе и может показывать её по запросам.

Страница может быть обнаружена, но ещё не просканирована. Бывает и обратная ситуация: робот открыл URL, но не добавил его в индекс, потому что увидел дубль, слабое содержание, техническую ошибку или сигнал canonical на другой адрес.

Для сайта компании в Алматы или Астане поисковику нужно понять не только тему страницы, но и географию бизнеса. На сайте должны совпадать название компании, телефон, адрес, часы работы и перечень услуг. Упоминания в 2GIS, карточке компании и местных справочниках формируют дополнительный контекст, но не заменяют техническую настройку сайта.

Как проверить индексацию сайта в Google Search Console

Начните с добавления сайта в Google Search Console и проверки конкретного URL. В строку «Проверка URL» вставьте полный адрес страницы, включая https и правильную версию домена. Сервис покажет, есть ли URL в индексе, разрешено ли сканирование и когда Google последний раз обращался к странице.

Сначала создайте ресурс в Search Console. Для бизнеса удобнее добавить ресурс типа «Домен»: он охватывает http, https, www и поддомены, но требует подтверждения через DNS. Если доступ к DNS сейчас недоступен, добавьте вариант с конкретным префиксом URL и подтвердите его через HTML-файл, метатег или Google Analytics.

После подтверждения проверьте несколько адресов, а не только главную:

• главную страницу и страницу контактов;
• одну услугу или категорию товаров;
• статью блога, если контент уже публикуется;
• страницу с параметрами URL, если сайт использует фильтры;
• новую страницу, которую нужно добавить в поиск.

В результате проверки ищите сообщение о том, что URL находится в Google. Если адрес не проиндексирован, Search Console укажет причину или предложит проверить страницу вживую. Нажмите «Проверить опубликованный URL», чтобы увидеть, как робот получает текущую версию страницы, а не старые данные из отчёта.

Отдельно откройте раздел «Индексирование» - «Страницы». Там собраны не только проиндексированные адреса, но и исключённые. Небольшое число исключений нормально: в отчёт могут попасть корзины, страницы поиска, сортировки и технические URL. Проблемой становится исключение коммерческих страниц, которые должны приводить клиентов.

Что чаще всего блокирует индексацию

В большинстве случаев причина находится в одной из пяти зон: robots.txt, noindex, доступность сервера, структура ссылок или содержание страницы. Проверять их нужно именно в таком порядке: сначала убрать прямой запрет, затем убедиться, что Google получает HTML, и только после этого оценивать дубли и полезность контента.

• В robots.txt стоит Disallow: /, поэтому робот не может обходить весь сайт.
• На странице или в HTTP-заголовке присутствует noindex.
• Сайт отвечает ошибками 4xx или 5xx, перенаправляет по длинной цепочке либо требует авторизацию.
• Важный URL не связан с меню, категориями или другими страницами и стал «висячим».
• Страница почти полностью повторяет другую, а canonical указывает на иной адрес.
• Сайт отдан на JavaScript, но поисковик не получает в исходном HTML нужного содержания.
• На домене осталась настройка от тестовой версии: закрытый сайт, старый robots.txt или общий noindex.

Особенно опасны настройки после переноса на другой домен или смены CMS. Разработчик мог оставить запрет индексации с тестового домена, а при миграции потерялись canonical, sitemap или редиректы. После запуска новой версии проверьте не одну главную, а все основные шаблоны страниц.

Медленная загрузка не означает автоматический запрет индексации, но повышает риск неудачного сканирования и ухудшает опыт пользователя. Это заметно на мобильном интернете: клиент открывает страницу с телефона, видит пустой экран и уходит до появления формы или номера.

Robots.txt, noindex и canonical: чем они отличаются

Robots.txt управляет обходом, noindex сообщает не добавлять страницу в индекс, а canonical подсказывает предпочтительный адрес среди похожих URL. Это разные сигналы. Если закрыть страницу в robots.txt, Google может не увидеть размещённый на ней noindex. Поэтому robots.txt не подходит как универсальный способ убрать уже известную поисковику страницу.

Откройте файл robots.txt напрямую по адресу вида yoursite.kz/robots.txt. Для обычного сайта в нём обычно указывают путь к sitemap и закрывают административную панель, внутренний поиск, корзину, личный кабинет и часть технических параметров. Строка Disallow: / требует особого внимания: она запрещает обход всего домена.

Noindex ищут в HTML между тегами head или в HTTP-заголовке X-Robots-Tag. Вручную смотреть код можно, но надёжнее начать с «Проверки URL» и затем подтвердить результат в исходном HTML. На посадочных страницах услуг, карточках товаров и полезных статьях noindex обычно не нужен.

Canonical пригодится, когда один товар доступен по нескольким адресам, например из разных фильтров. Основная версия должна ссылаться сама на себя или иметь понятный canonical на выбранный URL. Ошибка возникает, когда все страницы шаблона случайно указывают canonical на главную: Google воспринимает остальные адреса как второстепенные.

Как создать sitemap и отправить его в Search Console

Sitemap помогает обнаружить важные URL, особенно у нового домена, сайта без внешних ссылок и интернет-магазина с большим каталогом. Сначала убедитесь, что карта содержит только доступные страницы с кодом ответа 200, затем отправьте её в Search Console через раздел «Файлы Sitemap». Сам файл не гарантирует индексацию.

Чаще всего карта доступна по адресу yoursite.kz/sitemap.xml, но CMS может использовать индекс карт - отдельные файлы для страниц, товаров и статей. Адрес не нужно угадывать: его можно найти в robots.txt, настройках SEO-плагина или документации платформы.

Перед отправкой проверьте sitemap по короткому списку:

• адреса открываются без авторизации и лишних перенаправлений;
• в карту не попали страницы корзины, поиска, фильтров и черновики;
• версия домена совпадает с той, которую добавили в Search Console;
• последнее изменение указано корректно, без постоянной подмены даты;
• в карте нет дублей с разными вариантами слеша, регистра или параметров.

После отправки Search Console покажет статус обработки и число найденных URL. Это не равно числу проиндексированных страниц. Если в sitemap 300 адресов, а в поиске появляется только часть, смотрите причины в отчёте «Страницы», а не добавляйте один и тот же файл повторно.

В WordPress sitemap обычно создаёт SEO-плагин, а у конструкторов и интернет-магазинов карта может формироваться автоматически. После изменения структуры сайта проверьте, не поменялся ли её адрес. На новых проектах мы закладываем SEO-структуру и технические адреса до публикации страниц, а не исправляем их после проблем с обходом.

Как ускорить индексацию через Search Console

Для одной-двух важных страниц используйте «Проверку URL» и кнопку «Запросить индексирование». Сначала исправьте страницу, убедитесь, что она доступна и не закрыта, затем отправьте запрос. Google добавит URL в очередь, но срок не фиксирован: иногда обход происходит за несколько дней, а иногда требуется дополнительная диагностика.

Порядок действий выглядит так:

• Откройте Search Console и выберите нужный ресурс.
• Вставьте полный URL в верхнюю строку проверки.
• Посмотрите статус индексации и канонический адрес.
• Нажмите «Проверить опубликованный URL» и исправьте найденные ошибки.
• После исправлений нажмите «Запросить индексирование».
• Через несколько дней повторите проверку, не отправляя запрос десятки раз.

Ручной запрос подходит для новой страницы услуги, важной статьи, обновлённого товара или страницы после исправления критической ошибки. Он не предназначен для массовой отправки всего сайта. Для каталога используется sitemap, а для ускорения обхода - понятная внутренняя перелинковка и регулярное обновление полезных страниц.

В карточках локального бизнеса стоит связывать услуги с городом только там, где это действительно полезно. Страница «ремонт кондиционеров в Алматы» должна содержать условия работы, зоны выезда, стоимость или способ расчёта и контакты, а не быть копией страницы для Астаны с заменённым названием города.

Не пытайтесь ускорить индексацию покупкой случайных ссылок или публикацией десятков почти одинаковых страниц. Это увеличивает объём проверки, но не добавляет сайту полезности. Ссылки из профилей компании, 2GIS и отраслевых площадок могут помочь обнаружению, если размещены естественно и ведут на действительно нужную страницу.

Почему Google не индексирует страницу после всех исправлений

Если запретов нет, sitemap отправлен, а URL всё равно не попадает в индекс, проверьте содержание, дубли и ценность страницы. Google может сканировать адрес, но не сохранять его, если текст слишком короткий, почти повторяет другую страницу, не отвечает на запрос или создан только ради поисковых ключей.

Статус «Сканировано - в настоящее время не проиндексировано» не означает, что сайт сломан. Поисковик посетил страницу, но пока не выбрал её для индекса. Для диагностики сравните её с уже проиндексированными страницами сайта:

• есть ли самостоятельная тема и понятный запрос клиента;
• отвечает ли текст на практические вопросы, а не повторяет описание услуги;
• есть ли цены, условия, сроки, ограничения и следующий шаг;
• связана ли страница с меню, категориями и релевантными материалами;
• не дублирует ли её другая страница с тем же предложением.

Для интернет-магазина полезны уникальные характеристики, наличие, доставка по Казахстану, способы оплаты и понятные условия возврата. Если на сотнях карточек меняется только название товара, Google может считать такие страницы малополезными. У бизнеса с услугами похожая проблема возникает, когда под каждый район создают одинаковые посадочные страницы.

Проверьте серверные журналы и доступность сайта из разных сетей. Хостинг может отдавать Googlebot ошибку, а владельцу показывать страницу нормально. На мобильном интернете дополнительно смотрят на тяжёлые изображения, скрипты и ошибки JavaScript. Для новой разработки полезны серверный рендеринг и чистый HTML с основным содержанием - такой подход мы используем в проектах на Next.js и React.

Индексация не равна продвижению. Проиндексированная страница может находиться далеко за первой страницей выдачи и не получать заявок. Если техническая часть исправна, дальше нужны семантика, структура разделов, контент, локальные сигналы и оценка коммерческой ценности страниц.

Частые вопросы

Ниже собраны ситуации, которые чаще всего возникают после запуска сайта или публикации новых страниц. Ответы помогут отделить задержку обхода от технического запрета и понять, когда достаточно проверки URL, а когда нужно разбирать структуру, сервер или содержание всего раздела.

• Сколько времени занимает индексация нового сайта? Обычно первые страницы появляются в течение нескольких дней или недель. Срок зависит от доступности сайта, качества страниц, sitemap, ссылок и того, как часто Google посещает домен.
• Можно ли проиндексировать весь сайт одной кнопкой? Нет. Запрос в Search Console рассчитан на отдельные URL, а для массового обнаружения используют sitemap и внутренние ссылки.
• Почему главная страница есть в Google, а услуги нет? Услуги могут быть закрыты noindex, не попасть в sitemap, не иметь внутренних ссылок или выглядеть как дубли. Проверьте каждый важный URL отдельно.
• Нужно ли добавлять в sitemap страницы корзины и поиска? Нет. В карту включают доступные, полезные и самостоятельные страницы, которые должны получать органический трафик.
• Может ли Google не индексировать уникальный текст? Да. Уникальность сама по себе не гарантирует индексацию: учитываются полнота ответа, польза для посетителя, техническая доступность и отсутствие конкурирующего дубля.
• Поможет ли регистрация компании в 2GIS? Она укрепляет локальный контекст и помогает клиентам найти бизнес, но не заменяет sitemap, внутренние ссылки и исправление технических запретов на сайте.

С чего начать проверку сайта

Начните с пяти-десяти важных URL: главной, услуг, категорий, товаров, контактов и свежих материалов. Проверьте их в Search Console, затем отдельно откройте robots.txt, sitemap и отчёт «Страницы». Такой порядок быстро показывает, где проблема - в запрете обхода, сервере, структуре или содержании.

Если сайт давно не индексируется или после редизайна исчезли страницы, мы можем провести техническую проверку и составить список исправлений. Для постоянной работы с поиском у нас есть SEO-продвижение от 250 000 ₸ в месяц, а поддержка и доработки - от 50 000 ₸ в месяц. Цена фиксируется после брифа. Pozhidayev работает из Алматы с компаниями по всему Казахстану, в том числе удалённо.