Индексация сайта — задача поисковых роботов, заключающаяся в поиске, обработке и добавлении в базу документов. После сканирования содержимое страниц принимает участие в поиске и ранжируется по определенным ключевым запросам.
Интернет можно сравнить с огромной библиотекой. В каждой библиотеке есть каталог, основная задача которого — обеспечить удобство поиска информации. В середине 90-х годов XX века весь процесс индексации сводился к подобной каталогизации. Поисковые роботы сканировали сайты и структурировали информацию по ключевым словам в общую базу данных (БД).
Сейчас принцип индексации изменился — боты находят и анализируют информацию по определенным показателям (уникальность, читабельность, полезность и так далее.) и только потом материалы попадают в базу и показываются пользователям.
Алгоритмы Гугл и Яндекс постоянно меняются и становятся все совершеннее. БД переполнены информацией, среди которой роботы определяют самые качественные материалы и присваивают высокие позиции.
Особенности индексации в ПС Яндекс и Google
Google и Яндекс — самые популярные поисковые системы у пользователей Рунета. Чтобы ресурс принимал участие в поиске, расскажите о нем ботам. «Пригласить» их на сайт можно следующими способами:
- Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters. После чего робот обязательно посетит ресурс и вскоре его страницы проиндексируются.
- Проставить внешние ссылки на сайт с других ресурсов — страницы, которые были найдены таким способом, считаются полезными. Робот переходит по ним, передает вашему сайту определенный вес, одновременно индексируя его страницы.
В среднем на сканирование новых сайтов уходит от одной до двух недель. Но вебмастера отмечают, что индексация в Google быстрее. Все потому, что роботы сканируют все страницы: и качественные, и не очень. Но в поиск попадают только полезные материалы.
Пауки Яндекса работают в этом плане медленнее, но недостаточно качественные страницы не участвуют в поиске, так как их анализ происходит прямо на этапе индексирования.
Как индексируется сайт:
- поисковый бот заходит и анализирует контент;
- содержимое добавляется в БД;
- через некоторое время (до 2-х недель) проиндексированный документ участвует в поиске.
Анализ индексации своего сайта
Мониторить индексацию сайта — одна из ключевых SEO-работ. Существует несколько простых способов: «Яндекс.Вебмастер» и Google Webmasters.
Это самый простой способ убедиться прошла ли индексация страниц.
Яндекс.Вебмастер
- Добавьте сайт в сервис (привязка к почте).
- Откройте «Индексирование сайта» — «Страницы в поиске».
Так можно проверить насколько быстро новые страницы попадают в выдачу Яндекса.
- Добавьте проект в сервис для вебмастеров Google.
- Перейдите во вкладку «Индекс» — «Покрытие».
Как проверить вручную
Для этой цели нужно воспользоваться оператором ПС «site». Чтобы проверить индексацию, вбейте в строку Гугл или Яндекс следующее: «site:URL сайта».
Внимание! Если количество страниц проиндексированных в Гугл и Яндекс сильно отличаются, значит у сайта какие-то проблемы: неправильное содержимое файла robots.txt, проблемы со структурой или еще хуже — наложение санкций.
Для более детальной информации по индексации сайта, можно прибегнуть к специальным инструментам. С их помощью вы узнаете, сколько страниц было проиндексировано за определенный промежуток времени. Например, в Гугле выберите «Инструменты» и задайте интересующий период:
С помощью плагинов и расширений
Собрать информацию о проиндексированных документах можно и автоматически. Эту задачу решают специальные плагины и расширения для браузеров. Они сэкономят вам время.
Самое популярное расширение — RDS bar, его можно установить на любой популярный браузер. Но в «Мозиле» будет больше возможностей.
Еще один удобный вариант — букмарклет «Проверка индексации». Активируйте программу, перетянув ссылку на панель браузера, после чего откройте сайт и кликните на значок расширения. Откроется новая вкладка с Гугл или Яндекс, где будет информация об индексации.
Специальные сервисы
Наличие удобного функционала позволяет наглядно увидеть какие страницы принимают участие в поисковой выдаче, а каких нет.
Одним из популярнейших сервисов — «Серпхант». Бесплатный лимит — 50 страниц в сутки. Проверка индекса Google и Яндекс. 
Еще один бесплатный онлайн-сервис — pr-cy.ru. Просто указываете URL своего сайта и нажимаете «Анализировать». 
Среди платных сервисов — Topvisor. Цена проверки 1 страницы — 0,024 рубля. Загружаете в сервис страницы и запускаете проверку. 
Как ускорить индексацию
От скорости индексации зависит то, насколько быстро на страницах появится трафик. Это особенно важно для новостных ресурсов, которые должны индексироваться моментально, чтобы получить переходы из ПС. Иначе теряется актуальность их материалов.
Существует несколько простых способов заставить роботов чаще посещать ваш сайт:
- Добавьте ресурс в сервисы инструментов для вебмастеров Гугл и Яндекс.
- Регулярно добавляйте новые материалы на сайт (чем чаще, тем лучше).
- Проработайте удобную навигацию (в идеале, чтобы страницы имели вложенность не больше, чем три клика от главной).
- Выберите хороший хостинг, который не будет давать сбоев в работе сайта.
- Закрыть от индексации ненужные страницы в robots.txt.
- Перелинковать страницы между собой (удобно и для пользователей, и для ботов).
- Нарастить ссылки из соцсетей.
- Создать карту сайта в двух вариантах — .xml и .html.
Почему сайт не индексируется
Хорошо, если все страницы сайта проиндексированы и их примерно одинаковое количество в индексе ПС. Но порой бывает не все так гладко. Основные причины, мешающие нормальной индексации:
- Новый ресурс. На индексацию новых сайтов у поисковых роботов может потребоваться больше времени.
- Неправильная настройка файла robots.txt. В этом файле указываются команды боту, какие страницы и файлы индексировать, а какие нельзя. Если вы допустите ошибку, то рискуете навредить индексации.
- Нет карты сайта sitemap.xml. Карта сайта для ПС, которая сигнализирует о появлении новых страниц.
- Сайт закрыт от индексации. Запрещено посещение сайта роботом через админку (например, на движке WordPress есть такая возможность) или через тот же файл robots.txt. Еще одна типичная ошибка — от индексации закрыто содержимое страниц с помощью тега «noindex».
- Плохое качество страниц. Если контент не уникальный и не несет никакой пользы для посетителей, поисковые роботы могут принять решение не показывать его в поиске.
Выводы
Индексация сайта — необходимое условие для роста трафика и развития веб-проекта. Алгоритмы поисковых систем Гугл и Яндекс постоянно меняются. Обеспечьте стабильный и беспрепятственный доступ роботов к тем страницам сайта, которые должны участвовать в поиске. Регулярно добавляйте уникальные и полезные материалы, наращивайте ссылочную массу с посторонних ресурсов и с индексацией никогда не будет проблем.
А как обстоят дела с индексацией страниц ваших сайтов? Поделитесь опытом в комментариях.
