Индексация сайта: что это и как ускорить попадание страниц в поисковики

Индекс — это база данных, в которой поисковая система ищет ответы на запрос пользователя. Пока веб-страница не проиндексирована, у неё нет никакой позиции в поисковой выдаче, она не приносит трафика и продаж. 

В статье разберём, как происходит индексация сайта, как её ускорить, какие ошибки могут помешать и как их исправить.

Как происходит индексация сайта 

За индексацию сайтов в поисковой системе отвечают специализированные роботы — краулеры. Они обходят все страницы сайта и сканируют его содержание: тексты, картинки, видео, скрипты, заполнение тегов alt, title и description. Основываясь на этой информации, робот ранжирует сайт в поиске — то есть определяет место, на котором страница окажется в выдаче по определённому запросу.

Алгоритмы ранжирования Яндекс и Google доступны только их разработчикам, известны лишь общие принципы:

• Краулеры Google в первую очередь оценивают качество мобильной версии сайта.
• Google ведет учёт краулингового бюджета, то есть оценивает «трудозатраты» робота на обход сайта при ранжировании. Считается, что чем старше сайт и чем регулярнее он обновляется, тем больше его краулинговый бюджет и тем быстрее индексируются новые страницы.
• Яндекс отдаёт приоритет десктопной версии сайта и не сканирует файлы размером от 10 мегабайт. Частота сканирования зависит от возраста сайта: у новых ресурсов — от 3-4 раз в месяц, а у популярных она может быть каждый день. 

Если на сайте нет технических нарушений и ошибок, робот индексирует его. Процесс занимает от одного до трёх дней. При прочих равных, Яндекс быстрее индексирует изменения на сайте, чем Google.

Как проверить, есть ли страница в индексе

Есть несколько способов проверить индексацию страниц. Это делается вручную или с помощью специальных сервисов.

Через Яндекс Вебмастер. Проверить страницы можно двумя способами:

• В боковом меню открыть «Индексирование» → «Проверка страницы».
• Открыть «Индексирование» → «Страницы в поиске» → вкладка «Исключенные». 

Второй способ подходит, чтобы контролировать проиндексированный сайт. Так можно быстро увидеть, какие страницы исключены из индекса, и принять меры.

Через Google Search Console. В разделе «Индекс Google» найдите блок «Статус индексирования». Там можно посмотреть проиндексированные и не вошедшие в индекс страницы.

Специальные сервисы, чтобы проверить 80-100 целевых страниц. Подойдут Топвизор, Арсенкин, PromoPult и другие. Они позволяют загрузить url списком и проверить индексацию в нужной поисковой системе.

Ручная проверка отдельной страницы или сайта. В строку поиска нужно скопировать url-адрес страницы. Если она проиндексирована, вы увидите её на первом месте в выдаче.

Чтобы проверить целый массив страниц, в строке поиска нужно добавить директиву «site:» перед адресом искомого сайта. Если хотите посмотреть на конкретные разделы, после директивы вставляйте ссылку на них. Например:

• Хотим оценить сайт Callibri целиком: вводим site:callibri.ru.
• Хотим оценить только раздел с блогом: вводим site:callibri.ru/blog.

Любые изменения на сайте должны пройти индексацию, прежде чем пользователи смогут найти их через поиск. Процесс индексации можно ускорить — посмотрим, как это сделать.

Скрыть ненужные страницы от индексации. Так вы сэкономите ресурсы краулера и ускорите обход сайта. За индексацию сайта отвечает файл robots.txt. Его автоматически генерирует система управления контентом, но лучше отдать эту задачу SEO-специалисту. Он точно знает, какие страницы должны быть в поиске, а какие нужно закрыть от индексации.

Файл robot.txt напрямую не влияет на ускорение индексации, но в нём можно «запретить» посещение файлов и неуникальных страниц: pdf-документов, страниц в разработке, версий страниц для печати, форм, результатов поиска по сайту. Так мы оптимизируем краулинговый бюджет, чтобы его хватало на действительно нужные страницы — в том числе и на новые. Также в robot.txt нужно указать ссылку на карту сайта. 

Сгенерировать и загрузить карту сайта — Sitemap. Это файл в формате XML или txt. Он содержит информацию о структуре сайта, адреса всех страниц и даты последних обновлений. Его можно создать с помощью онлайн-генератора. Для этого во всех популярных системах управления контентом есть специальные плагины.

Карту нужно загрузить на сайт, а также добавить в Яндекс Вебмастер и в Google Search Console.

Карта сайта поможет краулерам быстрее обойти новые страницы и внести изменения в индекс. Поэтому важно поддерживать актуальность sitemap.

Переобход страниц и запрос индексирования. Иногда страница долго не индексируется из-за сбоя на стороне поисковика. В таких случаях можно напомнить о себе через Яндекс Вебмастер или Google Search Console.

В Яндекс Вебмастере каждый день можно отправлять примерно 20 запросов на переобход. Важный нюанс: у каждого сайта свой лимит на количество страниц для переобхода. Чем больше Яндекс доверяет сайту, тем лимит выше.

Также с помощью Google Search Console и Яндекс Вебмастера можно удалить любую страницу из индекса.

Перелинковка страниц. Если логично выстроить внутренние ссылки на сайте, поисковые роботы будут быстрее находить обновления. Ещё это облегчает навигацию по сайту для живых пользователей. «Битые» или не соответствующие запросам ссылки могут навредить индексации, поэтому тщательно проверяйте качество перелинковки.

Внешние ссылки. Сторонние ресурсы, которые ссылаются на ваш сайт, также помогают краулерам быстрее обнаружить и проиндексировать новые страницы. Работа со ссылочным профилем сайта — это один из основных компонентов SEO-продвижения в Google, в том числе она ускоряет индексацию.

Существует много способов получить внешние ссылки для сайта. Их можно купить у веб-мастеров или на профильных биржах, можно построить собственную сеть партнерских сайтов-сателлитов, или просто создавать качественный контент, которым будут охотно делиться пользователи.

Почему страница не индексируется и как это исправить

Разберёмся, как найти причину и что делать дальше. 

Ошибки в файле robots.txt. Проверить файл можно в Яндекс Вебмастере с помощью инструмента «Анализ robots.txt». Запрет на индексирование может быть ошибочно установлен на страницы, которые должны попасть в индекс.

Ошибки при загрузке страницы. Трёхзначные коды ошибок, которые начинаются на 3.., 4.. или 5.. (например, 404 Not Found) говорят о наличии проблем, которые влияют на индексацию — даже если в целом страница нормально загружается. Увидеть их можно, если открыть в браузере инструменты разработчика, зайти на вкладку «Сеть» и перезагрузить страницу.

Поисковая система также может исключить страницы из индекса за использование серых методов SEO-продвижения. Так что применяйте их на свой страх и риск.

Инструменты для массового отслеживания ошибок:

• Яндекс Вебмастер и Google Search Console. В них можно найти отчеты с ошибками, есть возможность выгрузки url.
• Онлайн-сервисы — например Топвизор и Rush Analytics.
• Десктопные программы: Screaming Frog SEO Spider, SiteAnalyzer и другие.

Допустимое количество зависит от размера сайта и типа ошибок. Например, ошибки 404 будут всегда — нормально, когда их 1–2% от общего количества страниц. Ошибок с кодом 500 (внутренняя ошибка сервера) быть не должно, их нужно устранять сразу. Чтобы контролировать количество ошибок, нужно проводить регулярный мониторинг сайта, хотя бы раз в 1–2 месяца.

Неверные настройки ответа сервера. Если сайт слишком долго грузится, с него уходят не только пользователи, но и роботы. Проверку ответа сервера также можно провести в Яндекс Вебмастере.

FAQ. Отвечаем на частые вопросы маркетологов 

Что такое индексация сайта?

Индексацию проводят поисковые системы. Они вносят страницы сайтов в свою базу данных, чтобы показывать их в поиске в ответ на запросы пользователей.

Сайт закрыт от индексации, что делать?

Проверить файл robots.txt и мета-теги страниц — возможно, там стоит запрет на индексацию. Убрать директивы disallow или <meta name="robots" content="noindex">, затем запросить «Переобход» в Яндекс Вебмастере или «Индексацию» в Google Search Console.

Как проверить индексацию сайта через Яндекс.Вебмастер?

Зайти в Яндекс Вебмастер — «Индексирование» — «Страницы в поиске». Сервис показывает, какие страницы сайта не включены в индекс и почему.

Как закрыть сайт от индексации с помощью robots.txt?

Добавить в файл robots.txt запрет поисковикам сканировать сайт:

• User-agent: *
• Disallow: /

Файл нужно разместить в корне сайта — site.ru/robots.txt.

Как ускорить индексацию сайта?

Сделать следующее: 

1. Оптимизировать краулинговый бюджет: закрыть лишние страницы от индексирования, создать и загрузить карту сайта — sitemap.xml.
2. Сделать внутреннюю перелинковку страниц.
3. Регулярно публиковать уникальный и релевантный контент.
4. Наращивать количество внешних ссылок на страницы сайта.
5. Запросить вручную переобход страниц в Яндекс или новую индексацию в Google.

Какие ошибки мешают индексации сайта?

• Запрет на индексацию всех страниц сайта в robots.txt или meta-тегах.
• Ошибки 404 и 500 при загрузке страниц.
• Заимствованный неуникальный контент.
• Медленная загрузка сайта.
• Отсутствие карты сайта — sitemap.xml.
• Дублирующие страницы на сайте.
• Слабая перелинковка.