Из юмора SEO-специалистов:

Если мимо бан прошел

В индексе все сайты —

Это очень хорошо

Локти не кусайте!

Для эффективной оптимизации сайта нужно знать, что конкретно необходимо оптимизировать, разобраться куда расходуется краулинговый бюджет. Важно также понимать, как именно поисковый бот сканирует ваш сайт, какие страницы не попадают в индекс поисковой системы.

Чтобы получить ценную информацию о поведении бота на вашем сайте следует анализировать лог-файлы.

Из этой статье вы узнаете:

  • Что такое лог-файлы?

  • Зачем анализировать лог-файлы?

  • Почему важно объединить лог анализ и краулинг?

Что такое лог-файлы?

Лог-файл (log, log-files, лог) — это текстовый документ, в котором содержится информация о действиях поискового бота, а также об активности посетителей вашего сайта. А именно:

  • точная дата и время посещения сайта;

  • URL запросы;

  • реферер пользователя;

  • статус, код и размер ответа;

  • время загрузки страниц и многое другое.

Вот как выглядят логи в текстовом документе

Зачем анализировать лог-файлы?

Анализ логов помогает:

  • понять КАК бот сканирует сайт;

  • понять ЧТО нужно оптимизировать и с какой приоритетностью;

  • отследить расход краулингового бюджета;

  • переехать на новый движок с минимальными потерями органического трафика.

Изучение архивных данных лог файлов (хотя бы за полгода) поможет вам грамотно провести внутреннюю оптимизацию, повысить видимость сайта, увеличить рост трафика.

Актуальные логи дадут возможность понять индексирует ли поисковой бот страницы, как он «ходит» по карте сайта, правильно ли воспринимает контент, как часто бот посещает каждую страницу. Кроме того лог анализ поможет избежать «писем счастья» от поисковых ботов (уведомлений о блокировке ресурса из-за ошибок на сайте), так как вы будете знать об ошибках до того, как их проиндексирует поисковый бот.

Полезная информация: если на той или иной странице вашего сайта не было бота в течение долгого времени, то скорее всего этой страницы также не будет и в индексе. Если лог анализ показал, что поисковой бот часто посещает страницу, то следует уделить максимум внимания именно этой странице.

В каких случаях Лог-анализ особенно важен?

Команда JetOctopus настоятельно рекомендует проводить анализ лог файлов, если на вашем сайте свыше 50 тыс. страниц. Большие сайты содержат огромное количество технической информации, о которой вы можете даже не подозревать. Однако скурпулёзный поисковой бот докапывается до этих данных и может заблокировать страницы из-за подобного сомнительного содержания.

Также очень важно проводить лог-анализ, если ваш сайт переезжает на новый домен, хостинг или сервер. Часть данных во время переезда обязательно исказится или потеряется, что повлияет на индексацию сайта. Мониторинг лог файлов поможет оперативно разобраться что нужно изменить в структуре сайта, какие страницы необходимо доработать и в результате обойтись минимальными потерями органики.

Почему важно объединить лог анализ и краулинг?

Лог анализ даёт вам представление о поведении поискового бота на сайте, о том попадает ли страницы в индекс, а краулинг помогает разобраться почему некоторые страницы не индексируются, какие технические ошибки есть на конкретной странице.

Так краулер визуализирует данные о работе сайта

Целесообразно ли заниматься лог анализом и краулингом самостоятельно?

Делать анализ лог файлов и краулинг довольно проблематично, ведь приходится работать с большими объёмами данных, тесно взаимодействовать с программистами, админами и постоянно мониторить процесс. Анализ больших сайтов требует серьезной мощности процессоров и затрат времени. Если пользоваться готовыми предложениями, то это весьма дорого.

От редакции: полезные материалы по теме:

Вебинар «Анализ лог файлов для больших сайтов. Как улучшить индексацию на 20%»

Если хотите стать SEO-гуру, то вам поможет авторский курс Сергея Кокшарова «SEO Pro». 8 уникальных лекций, практика под присмотром профи. Вы узнаете все секреты SEO-оптимизации.

ЗАПИСАТЬСЯ