Краулинговый бюджет: как помочь Google правильно обходить сайт

Краулинговый бюджет помогает Google рационально обходить сайт, но для небольшого проекта обычно не требует отдельной настройки. Основные потери создают дубли, фильтры, редиректы, медленный сервер и слабая внутренняя перелинковка. На сайте с тысячами URL эти факторы уже могут задерживать обнаружение новых товаров, услуг и статей.

Что такое краулинговый бюджет и кому он нужен

Краулинговый бюджет - это объём внимания и запросов, который Google направляет на конкретный сайт с учётом нагрузки на сервер и пользы страниц. Для сайта на несколько сотен качественных URL отдельная работа с бюджетом обычно не нужна. Она становится практической задачей для магазинов, каталогов, порталов и проектов с большим числом адресов.

У Google нет простого счётчика, который обнуляется каждую ночь. Робот оценивает, как часто сайт обновляется, насколько стабильно он отвечает и есть ли смысл загружать очередную страницу. Если сервер часто возвращает ошибки или вместо одной страницы доступны сотни её вариантов, значительная часть обхода уходит на технические адреса.

На частоту и глубину обхода влияют:

• скорость и стабильность ответа сервера;
• число новых и изменённых страниц;
• внутренняя структура и доступность важных URL;
• качество и самостоятельная ценность страниц;
• количество дублей, параметров, редиректов и ошибок.

Большой сайт не получает автоматического преимущества только из-за объёма. Google может просканировать страницу и не добавить её в индекс, если она похожа на уже известный URL, содержит мало самостоятельной информации или плохо связана с остальными разделами. Поэтому очистка адресов должна идти вместе с проверкой содержания и структуры.

Краулинговый бюджет особенно заметен в таких проектах:

• интернет-магазинах с фильтрами по бренду, размеру, цвету и цене;
• каталогах с тысячами карточек товаров или услуг;
• новостных и контентных проектах с ежедневными публикациями;
• маркетплейсах и агрегаторах с множеством комбинаций URL;
• старых сайтах после миграции, где накопились дубли и цепочки редиректов.

У локальной компании с десятками страниц причина плохой видимости чаще находится в другом месте. Нужно проверить noindex, canonical, код ответа, внутренние ссылки, файл sitemap.xml и качество страницы. Если услуга не появляется в поиске, попытка «увеличить бюджет» без такой диагностики обычно не решает проблему.

Нужен ли краулинговый бюджет малому бизнесу

Малому бизнесу редко нужен отдельный проект по управлению краулинговым бюджетом. Если на сайте несколько сотен индексируемых страниц, сервер отвечает без сбоев, карта сайта содержит только нужные URL, а услуги связаны ссылками, Google обычно обходит проект без заметных ограничений. Исключения возникают после неудачной разработки, редизайна, миграции или массового создания фильтров.

Для компании из Казахстана полезно не смешивать три разных вопроса:

Страница может быть просканирована, но не попасть в индекс. Она может быть в индексе, но не получать показов. Поэтому перед изменением robots.txt нужно определить, на каком именно этапе возникла проблема. Такая последовательность предотвращает ситуацию, когда полезный раздел закрывают из-за ошибки, не связанной с обходом.

Для сайта с формой заявки, телефоном и картой проезда приоритетом остаются страницы услуг, контактов и региональных предложений. Личный кабинет, корзина, оформление заказа и большинство вариантов сортировки не требуют присутствия в поиске. Карту сайта и карточки компании в сервисах карт проверяют отдельно: они не управляются краулинговым бюджетом домена.

Как проверить краулинговый бюджет в Google Search Console

Проверку начинают с Google Search Console, а не с редактирования robots.txt. В разделе «Настройки» и статистике сканирования можно оценить активность Googlebot, типы запросов, объём загруженных данных и время ответа за доступный период. Для отдельного URL используют «Проверку URL», где видны индексация, canonical и сведения о последнем обходе.

Смотрите на несколько показателей одновременно:

• увеличивается ли число ответов 200 после публикации новых страниц;
• не занимает ли заметную долю обхода группа 404, 5xx и редиректов;
• не ухудшается ли время ответа во время обновления каталога;
• совпадает ли список URL в sitemap.xml с реальными каноническими страницами;
• обходятся ли новые коммерческие страницы после появления внутренних ссылок.

Медленный ответ не означает автоматического наказания, но показывает, что сервер или приложение нужно проверить. Причиной бывают тяжёлые запросы к базе данных, неудачная серверная логика, нехватка ресурсов и нестабильность в часы нагрузки. Для робота важна не только скорость первого байта, но и возможность получить страницу полностью без сбоев.

В отчёте об индексировании ищите причины «Просканировано - сейчас не проиндексировано» и «Обнаружено - сейчас не проиндексировано». В первом случае Google уже загрузил страницу, но не считает её готовой к индексу. Во втором URL известен, однако его приоритет может быть низким из-за слабой связности, дубля или недостаточной ценности.

Не делайте вывод по одному адресу. Составьте выборку из товаров, услуг, статей, фильтров и старых URL. Для каждой страницы сравните код ответа, canonical, наличие в sitemap.xml, внутренние ссылки и статус в Search Console. Если одинаковая проблема повторяется в шаблоне, исправлять нужно шаблон, а не отдельные страницы.

Какие страницы съедают краулинговый бюджет

Основные потери создают бесконечные комбинации URL, а не отдельные страницы сами по себе. Фильтры, параметры, дубли домена, цепочки редиректов и служебные маршруты могут многократно показывать один и тот же контент. Сначала определите канонические страницы и технические адреса, затем настройте ссылки, карту сайта и правила обхода.

• URL с utm-метками, session_id и параметрами, не меняющими содержание;
• сортировка по цене, рейтингу или названию без отдельной поисковой ценности;
• комбинации фильтров интернет-магазина, для которых не создана самостоятельная посадочная;
• внутренний поиск с адресами вроде /search?q= или /catalog?query=;
• корзина, оформление заказа, вход и личный кабинет;
• старые URL с несколькими последовательными 301 или 302;
• пустые категории, технические копии и страницы с минимальным содержанием.

Не каждый параметр нужно закрывать. Если фильтр отвечает заметному спросу и формирует самостоятельную страницу с подходящими товарами, текстом, заголовком и понятной навигацией, его можно оставить доступным для поиска. Варианты, которые отличаются только порядком сортировки или меткой рекламной кампании, отдельной индексации обычно не заслуживают.

Частая ошибка - запретить раздел, но оставить на него ссылки в меню, футере и карточках. В результате сайт подаёт противоречивые сигналы: ссылка обещает доступную страницу, а правило обхода запрещает её загрузку. Сначала определите, какая версия адреса нужна пользователю, затем приведите к этой логике ссылки, canonical, sitemap.xml и технические директивы.

Отдельно проверьте JavaScript. Если каталог появляется только после действий пользователя, Google может не увидеть полный список товаров и ссылок. В проектах на Next.js или React названия категорий, основные тексты, ссылки и важные данные должны присутствовать в HTML либо корректно формироваться при серверном рендеринге.

Как настроить robots.txt без потери важных страниц

Robots.txt используют для ограничения обхода технических разделов, а не как универсальный способ удалить страницу из индекса. В нём можно закрыть личный кабинет, корзину, внутренний поиск и административные маршруты. Для исключения страницы из поиска применяют noindex или удаление, причём робот должен иметь возможность прочитать соответствующий сигнал.

Перед изменением файла составьте карту доступных и закрытых маршрутов:

• оставьте открытыми главную, категории, карточки, услуги, статьи и контакты;
• закройте служебные маршруты без поисковой ценности;
• проверьте, что запрет не задевает CSS, JavaScript и изображения;
• убедитесь, что sitemap.xml доступен роботу и не запрещён;
• после публикации проверьте несколько приоритетных URL в Search Console.

Запрет в robots.txt не гарантирует исчезновение адреса из результатов. Если на закрытую страницу ссылаются внешние источники, Google может узнать о ней и показать URL без полноценного содержимого. Поэтому robots.txt сокращает ненужный обход, но не заменяет noindex, авторизацию, удаление страницы или корректный редирект.

Sitemap.xml должна содержать только канонические URL с ответом 200, которые вы действительно хотите видеть в поиске. Не добавляйте туда noindex, редиректы, 404 и варианты с параметрами. Карта сайта помогает обнаружить нужные адреса, но не заставляет Google индексировать каждый из них.

Robots.txt не экономит обход, если внутренние ссылки, sitemap.xml и canonical противоречат друг другу.

Что ещё помогает Google обходить сайт правильно

После очистки технических URL нужно улучшить маршрут робота: ускорить публичные страницы, убрать битые ссылки, связать важные разделы и поддерживать sitemap.xml в актуальном состоянии. Эти действия не гарантируют мгновенную индексацию, зато уменьшают число пустых обходов и помогают Google быстрее находить изменения в каталоге, блоге и разделе услуг.

• Свяжите новую страницу с уже доступными разделами. URL не должен находиться только в sitemap.xml.
• Сократите цепочки редиректов. Старый адрес лучше направлять сразу на актуальный, без промежуточных переходов.
• Настройте кэширование, оптимизируйте изображения и проверьте запросы к базе данных. Медленная публичная страница мешает и роботу, и пользователю.
• Используйте понятную структуру: категория - подкатегория - карточка или услуга - связанная статья.
• После крупных изменений обновите sitemap.xml и проверьте приоритетные адреса через Search Console.
• Не создавайте страницу под каждый похожий запрос, если на ней нельзя дать отдельную полезную информацию.

Кнопка «Запросить индексирование» подходит для нескольких важных страниц после публикации или исправления ошибки. Это не очередь с гарантированным сроком и не замена внутренним ссылкам. Отправлять сотни URL подряд бессмысленно: сначала нужно устранить причину, из-за которой Google не принимает целую группу страниц.

Для локального бизнеса новая услуга должна быть связана с основными разделами сайта. Страницу для Алматы или другого города добавляют в навигацию, соответствующую категорию и при необходимости в карту сайта. Ссылки из социальных сетей и карточек компаний приводят пользователей, но не заменяют внутреннюю связь между страницами.

Типичные ошибки при работе с краулинговым бюджетом

Самая рискованная ошибка - менять технические директивы без списка приоритетных URL и резервной копии. Владелец видит задержку индексации, закрывает целую папку через robots.txt, а вместе с фильтрами исчезают категории и карточки. Любое изменение сначала проверяют на небольшой группе страниц, затем сравнивают результаты в Search Console.

• Закрывать папку, внутри которой находятся и полезные, и технические страницы.
• Считать все просканированные URL проблемой, не выяснив, какие адреса действительно лишние.
• Ставить noindex на важную страницу, чтобы убрать её дубль, вместо настройки canonical или редиректа.
• Оставлять в sitemap.xml адреса, которые перенаправлены или возвращают ошибку.
• Создавать почти одинаковые страницы под комбинации фильтров без спроса и самостоятельного содержания.
• Проверять только главную страницу и не смотреть шаблоны карточек, пагинацию и параметры.
• Обещать точный срок индексации: Google не гарантирует появление URL в поиске за конкретное число дней.

Настороженно относитесь к обещаниям «увеличить краулинговый бюджет» одной настройкой robots.txt. До изменений подрядчик должен показать список URL, коды ответов, причины исключений и приоритеты бизнеса. В отчёте полезны не только позиции, но и данные Search Console, проверка шаблонов, карта сайта и результаты после исправлений.

Частые вопросы

Вопросы о краулинговом бюджете обычно сводятся к одной задаче: отделить технический обход от индексации и видимости. Ни robots.txt, ни ускорение сервера не заменяют качественные страницы, внутренние ссылки и понятную структуру. Ниже - короткие ответы для первичной проверки сайта без рискованных изменений.

• Нужно ли увеличивать краулинговый бюджет сайта на 50 страниц? Обычно нет. Проверьте доступность, индексацию, скорость, sitemap.xml и внутренние ссылки - для небольшого проекта этого чаще достаточно.
• Можно ли закрыть фильтры через robots.txt? Можно, если это ненужные комбинации URL. Для ценных фильтров лучше создавать самостоятельные посадочные страницы, а дубли решать структурой ссылок и canonical.
• Почему страница просканирована, но не проиндексирована? Google мог посчитать её дублем, слабой или недостаточно связанной с сайтом. Проверьте содержание, canonical, внутренние ссылки и статус в Search Console.
• Поможет ли ускорение сервера? Да, если публичные страницы долго формируются или часто отдают ошибки. Но быстрый сервер не исправит noindex, неправильный canonical, пустые страницы и отсутствие ссылок.
• Как быстро Google индексирует новую страницу? Точного срока нет. Внутренняя ссылка, корректный sitemap.xml и отсутствие технических проблем ускоряют обнаружение, но решение об индексации принимает Google.
• Влияет ли Kaspi на краулинговый бюджет сайта? Наличие товаров или ссылок на внешней площадке не управляет обходом вашего домена. Для собственного сайта отдельно настраивают каталог, ссылки, карту сайта и индексацию.

С чего начать проверку сайта

Начните с таблицы приоритетных URL: главная, категории, услуги, карточки, статьи и контакты. Для каждой страницы зафиксируйте код ответа, canonical, наличие в sitemap.xml, внутренние ссылки и статус в Search Console. Затем отдельно соберите параметры, поиск, корзину, редиректы и ошибки, чтобы не смешивать технические адреса с важными.

Если сайт большой или после разработки появились проблемы с индексацией, мы можем провести технический аудит, проверить структуру, robots.txt, sitemap.xml, скорость и шаблоны страниц. SEO-продвижение у нас начинается от 250 000 ₸ в месяц, поддержка и доработки - от 50 000 ₸ в месяц. Работаем из Алматы с компаниями по всему Казахстану, в том числе удалённо.