Как добавить новый сайт в поисковые системы и сделать его видимым для пользователей? Рассказываем, как роботы «Яндекс» и Google индексируют сайты, как самостоятельно добавить сайт в поисковики и что влияет на поведение роботов на странице.
Как работают поисковые роботы
Алгоритмы поисковых систем постоянно ищут новые сайты и добавляют их в индекс. Но что делать, если вы не можете ждать или веб-сайт никак не появляется в поисковой выдаче?
Поисковая система «узнаёт» о новом веб-ресурсе и добавляет его в очередь для обхода. Когда подходит очередь (ожидание может занять до двух недель), поисковый робот, или краулер, сканирует сайт. При этом робот игнорирует часть визуального контента, но обращает внимание на техническую информацию: IP-адрес, веб-сервер, поддерживается ли keep-alive соединение, тип и объём контента, ссылки, размещённые на странице и т. д. Значимое содержимое вносится в базу данных (индексируется). Затем бот переходит по одной из ссылок с отсканированной страницы. Поэтому важно, чтобы ссылки вели на внутренние, а не на внешние ресурсы и не зацикливались. Конечно, существуют ограничения на количество переходов внутри одного сайта, но именно от качества ссылочной массы зависит, просканирует ли бот максимальное количество страниц. Также важно, чтобы на сайте не было технических ошибок — это может привести к блокировке сайта поисковиками.
Но о том, как подготовить веб-ресурс к индексации, мы расскажем в конце статьи, а сейчас вернёмся к добавлению сайта в поисковики.
Как добавить сайт в «Яндекс»
«Яндекс» невероятно популярен в ру-сегменте сети Интернет. Чтобы добавить ваш ресурс в эту поисковую систему и сделать его видимым для миллионов пользователей, авторизуйтесь в «Яндекс Вебмастере» и кликните на «Добавить сайт».
Введите его адрес, нажмите «Добавить».
Потребуется подтвердить права на сайт. Для этого выберите один из способов:
- Добавление DNS-записи
Скопируйте уникальный идентификатор и добавьте TXT-запись для вашего домена. Когда информация обновится (придётся подождать до двух дней), нажмите «Подтвердить».
- Добавление html-файла в корень сайта
Скачайте его по ссылке или создайте новый файл и скопируйте в него код (обратите внимание, что имя созданного файла должно совпадать с предложенным «Яндексом»).
- Добавление метатега внутри блока <head> на домашней странице сайта
Прежде чем подтверждать права, убедитесь, что информация обновилась (например, в инструментах разработчика в браузере).
Недавно «Яндекс» добавил ещё два способа подтвердить права на сайт: в CMS Tilda и «1C-Битрикс».
- В «Тильде» принцип тот же: скопируйте сгенерированный код для верификации и добавьте его на свой сайт. Пройдите по пути «Настройки сайта» → «Ещё» → «Подтверждение прав» и вставьте код в поле «Подтверждение домена для Яндекса через метатег», сохраните изменения, затем нажмите «Подтвердить» в «Яндекс Вебмастере».
- В «1С-Битрикс» код не понадобится. Перейдите по пути «Маркетинг» → «Поисковая оптимизация» → «Поисковые системы» → «Яндекс» и пройдите авторизацию «Яндекс ID». Кликните по «Подтвердить» напротив нужного доменного имени. После чего перезагрузите «Яндекс Вебмастер».
Как добавить сайт в поисковик Google
Авторизуйтесь в Google Search Console, выберите тип ресурса, который вы будете добавлять.
Для первого типа («Доменный ресурс») доступно подтверждение прав только с помощью DNS-записи. Однако это предпочтительный способ, так как он позволяет добавить в «Гугл Консоль» сразу все варианты URL.
Если по какой-то причине вы не можете подтвердить права через провайдера доменных имён, выберите «Ресурс с префиксом в URL». Появятся альтернативные способы, как уже знакомые по инструкции для «Яндекса», так и новые:
- HTML-файл в корне сайта,
- метатег на home page,
- аккаунт «Гугл Аналитики»,
- диспетчер тегов «Гугл».
Чтобы добавить сайт в поисковую систему Google, введите имя домена или субдомена и следуйте инструкциям.
Как проиндексировать отдельные страницы
Переобход в «Яндексе»
Иногда нужно переиндексировать отдельные страницы. Например, если их содержание обновилось или вы добавили новые страницы с акциями или товарами и хотите, чтобы робот просканировал их в первую очередь.
В меню «Яндекс Вебмастера» выберите «Индексирование» → «Переобход страниц».
Введите адреса страниц и отправьте заявку.
При следующем посещении вашего ресурса поисковый робот начнёт сканирование с указанных страниц.
Счётчик «Яндекс Метрики»
Если вы используете счётчик посещений от «Яндекса», сообщите поисковику, что нужно обходить страницы со счётчиком. Для этого создайте в «Яндекс Вебмастере» привязку сайта к «Яндекс Метрике».
Подтвердите запрос в Метрике («Настройка» → «Счётчик» → «Подтвердить»).
Вернитесь в «Яндекс Вебмастер» и включите обход по счётчикам (через пункт меню «Индексирование»).
После этого поисковый робот создаст список с примерами страниц, которые могут попасть в поиск. Проверьте список — так как в него могут попасть непубличные страницы.
Как добавить определённые страницы в «Гугл»
Выберите нужный сайт в Search Console, перейдите в «Сканирование» → «Просмотреть как Googlebot». Добавьте адрес страницы, которую нужно переиндексировать. Нажмите «Сканировать» и «Запрос индексирования».
Как подготовить сайт к индексации
Существует множество факторов, влияющих на обход сайта поисковыми роботами. Перечислим некоторые из них.
Sitemap
Создайте карту сайта и добавьте ссылку на неё на домашнюю страницу. Так робот зайдёт на неё в начале обхода.
В sitemap обычно находится информация о том, как организована структура вашего сайта, какие страницы и контент какого типа он содержит. Sitemap объединяет все добавленные на сайт страницы. А это гарантирует, что поисковик не пропустит ни одной из них, даже если на страницу не ведёт ни одна ссылка.
Коды состояния HTTP
Коды состояния HTTP и возможные ошибки сети также отражаются на добавлении сайта в поисковики. Например, при получении кода 3хх (redirection, или переадресация) бот Google выполняет до 10 переходов по цепочке переадресации, после чего покидает сайт.
Если проиндексированная ранее страница отдаёт код 4хх, то она удаляется из индекса.
Ошибки типа 5xx (server errors) замедляют сканирование. URL, постоянно возвращающий 5хх, со временем также будет удалён.
Файл robots.txt
В файле robots.txt прописаны инструкции поисковым роботам: вы можете ограничить количество запросов от поисковиков или запретить сканирование определённых страниц и разделов.
Важно, что директивы этого файла регулируют лишь сканирование, но не влияют на индексацию. Контент, который запрещёно сканировать, всё равно может попасть в индекс и поисковую выдачу — если на него ведут ссылки с других страниц — но будет отображаться без описания.
Кроме того, некоторые поисковики могут игнорировать правила robots.txt. Поэтому используйте более надёжные методы, чтобы скрыть непубличный или служебный контент (метатеги или пароли).
Нормализация
Выберите канонические URL. С большой долей вероятности именно они будут представлены в результатах поиска.
У вас может быть по несколько версий каждой страницы: http и https, версии для разных регионов или типов устройств и т. п. Все эти страницы будут иметь одно содержание, но открываться по разным URL. Чтобы они не конкурировали между собой в поиске, выберите каноническую страницу и добавьте на неё соответствующий тег.
Зеркало сайта
Иметь зеркало — полезная практика. Зеркала помогают обеспечить стабильный доступ в случае сбоев, распределить нагрузку или протестировать новые технические решения. Не забывайте закрывать зеркала от индексации: настройте редирект и добавьте в robots.txt указание на основной домен.
Где находится robots.txt в WordPress и как правильно его использовать
Если вы хотите, чтобы ваши сайты работали быстро, выбирайте надёжного провайдера с быстрыми серверами, например, AdminVPS.
Аренда VPS/VDS от хостера AdminVPS — это:
- бесплатное администрирование,
- только быстрые NVMe диски,
- мгновенная техподдержка,
- защита от DDoS,
- доступная цена.
Приоритет мобильного контента
Вслед за технологией Mobile-first, популярной в веб-разработке, появилась и Mobile-first indexing. Если основной поток посетителей приходит на ваш ресурс с мобильных устройств, стоит указать мобильные страницы как канонические (этот совет не касается сайтов с адаптивным дизайном). Но даже если вы решили отдать предпочтение полной версии, убедитесь, что контент и его организация на обеих версиях совпадают. Это важно для поисковых систем — даже небольшие отличия в DOM могут помешать воспринимать их как один и тот же сайт.
Оптимизация JS-кода
JavaScript-код может помешать индексации. Чтобы проверить, есть ли в коде ошибки, влияющие на поведение робота, проанализируйте статистику сканирования вашего сайта.
Корректные метаданные
Уделите внимание метаданным, от них также зависит, как будет проиндексирован ресурс.
Основная информация о странице содержится внутри блока <head>. Если в <head> вложить недопустимый элемент, то это вызовет ошибку и поисковый робот может завершить сканирование.
Правильно используйте и разрешённые метатеги, так как поисковик игнорирует всё, что не может обработать.
Запрет индексации
Скройте от поисковых роботов непубличный и имеющий низкую ценность контент. Это могут быть личные кабинеты, корзины, страницы сравнения товаров, комментарии пользователей. Также вы можете временно заблокировать второстепенный контент, чтобы поисковые боты сосредоточились на приоритетных страницах.
Читайте в блоге:
- Что такое метатег keywords и как его использовать для продвижения сайта
- Создание сайта с помощью нейросети: лучшие инструменты
- Топ-9 рекомендаций, как увеличить конверсию веб-форм сайта
