Что такое краулинг?
Результат поиска зависит от таких процессов как сканирование, индексирование, выдача результатов.
Краулинг – процесс мониторинга поисковой машиной новых и обновленных ресурсов, которые собираются в индекс поисковых систем. Сканирование – первый шаг. На этом этапе сведения собираются для последующей внутреннего анализа. Процесс формирования индекса не отражается в результатах поиска. Сканирование не всегда заканчивается индексацией.
Поисковый краулер, состоящий из множества компьютеров, на огромной скорости выбирает совпадающие с запросом поиска страницы. Программа сбора информации в Сети работает с множеством страниц одновременно.
Функции поискового робота:
- Проверка списка URL-адресов для сравнения с проиндексированными в Google URL-адресами.
- Избавляется от дублирующих страниц.
- Переходят по ссылкам просматриваемых страниц для сканирования огромного массива информации.
Почему нужно экономить краулинговый бюджет?
В поисковой системе Google работают краулеры, предназначенные для сканирования информации различного типа: базового контента, новостей, изображений, видео.
Успех SEO-оптимизации напрямую связан с таким понятием как краулинговый бюджет. И SEO, и краулинг – методы для продвижения ресурсов в поисковых системах. При этом SEO ориентируется на поведение пользователей, а краулинговая оптимизация направлена на то, чтобы помочь поисковым ботам получить доступ к сайту.
При несоблюдении определенных правил сайт может быть проиндексирован не полностью. Это может произойти, если у поискового краулера закончится бюджет. Случается также, что индексируются только страницы по низкочастотным запросам. Высокочастотные при этом могут не выводиться на заметные позиции в поисковой выдаче.
Теги, ключевые слова, контент – понятия, пригодные для SEO-оптимизации. Краулинговый бюджет подразумевает число страниц, которые поисковый паук в состоянии просканировать за определенный период времени. Сканирование 40 страниц в день означает, что месячный бюджет краулинга достигает 1200 страниц. Рассчитать краулинговый бюджет ресурса помогают такие сервисы, как Google Search Console и Bing Webmaster Tools. В разделе «Статистика сканирования» показано, сколько страниц сканируется в день.
Настройки сайта для индексации в SEO
Чтобы оптимизировать краулинговый бюджет, необходимо проанализировать настройки сайта.
Проверьте доступность страниц для сканирования. Чтобы страницы не препятствовали работе краулеров, необходимо настроить htaccess и robots.txt.
Не все поисковые системы умеют обрабатывать мультимедийные файлы. Чтобы минимизировать риск, придется отказаться от использования мультимедиа на страницах, которые должны быть обязательно отражаться в результатах поиска. Кроме того, можно использовать текстовые аналоги для нетекстовых файлов. В ток случае они точно будут просканированы и проиндексированы поисковыми роботами.
Краулинговый бюджет может расходоваться на цепочки редиректов. Большое количество переадресаций могут заставить поисковых ботов остановить сканирование еще до того, как доберутся до основной страницы. Базовая страница может остаться не проиндексированной. Необходимо избавиться от лишних перенаправлений и не делать больше двух редиректов, следующих друг за другом.
Битые ссылки затрудняют работу поисковых роботов в процессе индексирования ресурса.
Краулеры анализируют динамические URL-адреса, которые отсылают на одну и ту же страницу. Такое дублирующее перенаправление расходует краулинговый бюджет. В разделе «Параметры URL» в сервисе Google Search Console можно обозначить для Google правила обработки URL с определенными свойствами. Это станет препятствием к выполнению двойной работы.
Сделайте «инвентаризацию» карты сайта. Файл XML Sitemap помогает поисковым ботам отыскивать нужный контент. Избавьтесь от лишних элементов, которые ухудшают юзабилити цифровой площадки, на карте сайта. Это могут быть переадресации, недоступные для индексации URL-адреса, страницы, возвращающие ошибки 4хх и т. д.
Фиды (RSS, XML и Atom) помогают делать контент доступным для пользователей даже при его отсутствии на сайте. Подписка на ленту новостей позволяет получать регулярные обновления.
Увеличивайте число внешних ссылок. Найдена взаимосвязь между числом посещений ресурса краулерами и количеством внешних ссылок.
Внутренние ссылки также позволяют поисковым ботам отыскивать контент с экономией краулингового бюджета.
Неотъемлемая часть работы специалиста в области SEO связана с оптимизацией краулингового бюджета. Чем доступнее ресурс для краулеров, тем чаще поисковые боты его посещают. Обновления в этом случае появляются оперативнее в результатах поиска, что способствует продвижению сайта в топ.
Каждый продукт продаёт
"Живой" сайт привлекает
Ежедневное развитие
Каждое слово продаёт
Захватим всех клиентов
Клиенты за 3 дня!
Осуществляет продажи
Развернутая проработка
Результаты через 2 недели
