После того как вы купили домен, создали сайт и наполнили его контентом, вы с большим нетерпением ждете, когда же его проиндексируют поисковые системы. Чтобы это произошло быстрее, владельцу ресурса нужно выполнить несложные действия.
Индексация сайта — это добавление его страниц в базу поисковых систем. Чтобы документы проиндексировались, их должны обойти поисковые роботы.
Основная задача — рассказать поисковым системам о существовании вашего сайта. Для этого необходимо воспользоваться сервисами Google Search Console и «Яндекс.Вебмастер». После добавления сайта вам будет доступна следующая информация:
- индексация сайта в поисковых системах;
- ошибки при обходе робота;
- ссылочная масса (внешней и внутренней);
- посещаемость, включая и мобильный поиск.
Сервисы предоставляют данные о том, как сайт представлен в результатах поисковой выдачи, но не оказывают прямого влияния на ранжирование.
Как добавить сайт в Яндекс
Перейдите на сайт сервиса «Яндекс.Вебмастер», авторизуйтесь в кабинете, нажав «Войти».
Теперь нажмите «Добавить сайт» и укажите его адрес.
Затем нужно подтвердить права на сайт, выбрав наиболее простой и подходящий для себя вариант:
- Мета-тег на главной странице (между <head> и </head>).
- Добавить HTML-файл в корень сайта. Создайте документы с указанным содержимым и разместите на хостинг в корневой каталог.
- DNS-запись. Внесите указанную запись в DNS у регистратора домена.
На проверку прав уйдет несколько секунд, после чего он добавится в «Яндекс.Вебмастер».
Если на сайте больше, чем одна страница, то воспользуйтесь инструментом «Переобход страниц». Добавьте сюда все URL для индексации. В день разрешено вносить не больше 20 адресов.
Не забудьте добавить Sitemap, которая тоже ускоряет индексацию страниц. Для этого перейдите в «Индексирование» и выберите в меню «Файлы Sitemap». В поле нужно добавить соответствующий URL-адрес.
Если в ходе загрузки у вас возникли проблемы, воспользуйтесь другим инструментом XML-валидатор. Он позволяет исправить проблемы в карте сайта.
Теперь у вас есть доступ ко всей статистике сайта и возможность вносить настройки прямо в сервисе для веб-мастеров от Яндекс.
Как добавить сайт в Google
Чтобы добавить сайт в очередь на индексацию в поисковой системе Google тоже нужно пройти регистрацию или войти под существующим логином в Google Search Console. Инструмент для веб-мастеров позволяет не только рассказать поисковому роботу о новом сайте, но и отслеживать его работоспособность и ранжирование в поиске.
Укажите URL сайта в строке и нажмите «Продолжить». Обратите внимание, что способы подтверждения прав на сайт тоже разные. Выберите удобный для себя.
Процедура добавления мало чем отличается от действий в «Яндекс.Вебмастере». С помощью инструментов для веб-мастеров от Google можно оптимизировать сайт, улучшить его технические моменты, контент и внести многие другие доработки.
Следующий шаг — добавление карты сайта. Для этого выберите на панели «Файлы Sitemap», добавьте в поле «sitemap.xml» и нажмите «Отправить».
Если ваш сайт состоит из нескольких десятков или даже сотен страниц, то можно заставить робота быстрее их проиндексировать. Вставьте в поисковую строку Search Console URL адрес новой страницы, нажмите Enter и немного подождите.
Новой страницы не окажется в индексе Google. Добавьте ее на индексацию в один клик.
На запрос может уйти больше одной минуты. Все это время не закрывайте вкладку браузера.
Дальше вы увидите, что URL страницы был добавлен в очередь на сканирование. Не стоит проводить эту манипуляцию несколько раз, так как это никоим образом не скажется на ранжировании и не уменьшит время ожидания.
Когда страница попадет в индекс Яндекс или Google? Нельзя дать однозначный ответ. Иногда после добавления запроса на индексацию страница уже через несколько секунд попадает в индекс. Но бывает и такое, что приходится ждать до нескольких минут или даже часов.
Как ускорить индексацию сайта в Google и Яндекс
Быстрая индексация требуется не только новым, но и действующим ресурсам. Ускорение индексации — комплекс действий, которые заставляют поискового робота чаще посещать ваш сайт. Основные из них:
- Добавьте сайт в панели веб-мастеров от Яндекс и Google.
- Подготовьте для поисковиков две версии карты сайта в форматах .xml и .html. Правильно заполните файл robots.txt. В нем нужно указать то, какие документы и разделы можно индексировать, а какие не должны участвовать в поиске.
- Продумайте структуру и навигацию сайта. Они должны быть простыми и удобными не только для роботов, но и для пользователей.
- Сделайте грамотную перелинковку. С помощью внутренних ссылок вы можете соединять разные страницы, что позволит быстрее их обнаружить ботам. Также такие линки помогут в распределении веса между страницами, выделив приоритетные для продвижения.
- Пишите и размещайте уникальные тексты. При этом делать обновления контента нужно регулярно.
- Наращивайте внешнюю ссылочную массу. Хорошо, если под ваш ресурс будут группы в социальных сетях, куда вы можете добавлять свои материалы со ссылкой на источник. Также публикуйтесь на трастовых ресурсах, оставляя ссылки на свой сайт. Не забывайте и о крауд-маркетинге.
- Используйте пинг-сервисы (Pingxpert, PingFarm, CS YZZLE и др.). Они устанавливаются в настройках CMS. Основная задача — уведомление поисковиков о появлении новых документов.
В комплексе все эти методы показывают хороший результат. Рано или поздно на вашем сайте появится быстроробот, который будет моментально индексировать новые страницы.
Быстроробот — отдельный поисковый бот, который отвечает за индексацию нового контента, выложенного на сайте.
Рядом с проиндексированным документом указывается сколько часов назад он был проиндексирован. Документы помещаются во временное хранилище. В быстрой выдаче такие страницы находятся около 3 дней. После их индексации основным ботом, они встают на определенную позицию (действует основной алгоритм ранжирования).
Сайта нет в Яндекс и Google. Возможные причины
Форумы по SEO-оптимизации пестрят сообщениями о том, что сайт плохо индексируется или вовсе отсутствует в поиске. Причины могут быть самыми разными:
- Сайт закрыт от индексации в файле Robots.txt.
По случайности сайт может быть закрыт от индексации поисковыми системами.
Проверьте, нет ли там такой строки:
User-agent:
* Disallow: /
Правильный Robots.txt для сайта на WordPress на примере Яндекс-бота:
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-includes/js/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: *?s*
Disallow: *?preview=true*
Disallow: */trackback/
Disallow: */feed
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: /wp-json*
Allow: /wp-content/uploads/
- Мета-тег noindex.
Проверьте, нет ли в коде тега «noindex»«/noindex», который запрещает индексацию сайта в Яндексе. Бывают случаи, когда где-то в шапке сайта он открыт, а закрыть забыли.
- Мета-тег Robots.
Посмотрите, нет ли на странице подобного кода:
<meta name =“robots” content=”noindex,nofollow”/>
Он запрещает индексацию конкретной страницы.
- Некорректная HTML-разметка.
Поисковые роботы могут не распознать содержимое страницы, если будет нарушена вложенность тегов. Пример:
<div><p>текст</p></div>
- Ошибки сервера 500 и 404.
404 — страница не найдена. Случается, что страница есть, с ней все в порядке, но выдает 404 код. Такая команда для поискового бота означает, что страницы нет. 500 — внутренняя ошибка сервера. Здесь вопросы к вашему хостеру или работе скриптов на сайте.
- Плохое качество контента.
В последние годы поисковые системы уделяют особое внимание качеству контента. Если вы публикуете малополезный и неуникальный контент, то он может быть не проиндексирован. Измените подход к качеству страниц.
- Санкции со стороны поисковых систем.
Если вы купили домен с историей, то есть вероятность, что он уже успел побывать под фильтрами Google и Яндекс. Например, злоупотреблял продажей ссылок или был замечен в мошеннических действиях. Лучше подобрать для сайта новое доменное имя. В противном случае будут проблемы с ранжированием.
Выводы
Правильная индексация сайта — основа его продвижения. Регулярно проверяйте, как часто к вам приходит робот, сколько страниц попадает в поисковую выдачу, какие страницы были исключены и почему. Одна нелепая ошибка в файле robots и сайт выпадет из индекса. Будьте внимательны при его настройке, уделив одинаково внимания технической стороне и содержимому ресурса.
