Как мониторинг сайтов может помочь в SEO-продвижении?

Данный материал будет интересен прежде всего серийным предпринимателям в области SEO и руководителям отделов в агентствах и SEO-компаниях.

В статье о зарождении Sitechecker я рассказывал, как несовершенство Screaming Frog привело к идее создания собственного инструмента для технического аудита сайта. В этом посте я поделюсь историей запуска инструмента для мониторинга сайтов и дам исчерпывающий перечень его возможностей.

Содержание

Самые важные изменения на сайте

Поисковая выдача Google по запросу «мониторинг сайтов» выдает сервисы, которые трекают прежде всего аптайм сервера, скорость загрузки сайта, появление вирусов и другие проблемы, связанные с его неработоспособностью.

Но есть одна, не менее важная категория проблем, которые такими сервисами не охватываются. Речь о мониторинге изменений на конкретных страницах. Изменений, которые имеют критическое значение для SEO и бизнеса в целом. Опираясь на свой опыт работы, мы собрали список событий, которые важно отслеживать в реальном времени:

Идея создания собственного инструмента для мониторинга

Ключевой потребностью, из которой вырос наш инструмент, был трекинг индексации страниц.

Давайте посмотрим на проект в динамике?

На начальных этапах, когда ключевые изменения на сайт и в код вы вносите своими руками, лишнее беспокойство по поводу возможных ошибок у вас возникает редко.

Идет время. Проект растет. Рост прибыли на сайте чаще всего сопровождается увеличением ценности страниц, которые генерируют самый конверсионный трафик с поисковых систем. С увеличением ценности таких страниц растет и стоимость ошибок из-за их «простоя» и возможного вылета из индекса.

Параллельно с ростом трафика и прибыли сайта чаще всего растет и количество людей, которые над ним работают. Это могут быть как члены вашей команды, так и фрилансеры, сотрудники агентств.

И вот здесь самое время заранее задуматься о безопасности (второй вариант – потерять за несколько часов внушительную сумму и никогда уже о безопасности не забывать).

Новые люди (верстальщики, контент-менеджеры, разработчики, аналитики), которые начинают работать над сайтом, часто не владеют основами SEO и не видят ничего опасного в изменении тега с index на noindex. Можно проводить разъяснительную работу о важности постоянно проверять этот тег. Но лучше одновременно с этим запустить мониторинг сайта и быть уверенным, что совершенство машины в случае чего компенсирует ошибки человека.

Принцип работы мониторинга сайтов

Принцип очень простой. Краулер каждые полчаса сканирует сайт, сравнивает новое состояние с предыдущим и фиксирует изменения в журнале событий.

Пример журнала событий по сайту

Инструмент простой, но чрезвычайно функциональный. Так как данные по истории изменений конкретной страницы и сайта дают возможность делать выводы в разных сферах. Давайте рассмотрим каждый из таких вариантов применения.

Варианты применения мониторинга сайтов

Пример email-уведомления об изменении статуса индексирования страницы

Функция, с которой инструмент мониторинга зародился и сейчас является самой важной.

Такие письма, как на фото, спасали наши проекты уже не раз. Как раз после получения такого уведомления и начинаешь на основе собственного опыта понимать необходимость мониторинга. Кроме уведомления об изменении статуса индексирования страницы в метатегах и в robots.txt, мы также отправляем мгновенные уведомления об изменении конкретных строк в файле robots.txt и изменении статуса кодов страниц.

Дашборд для оценки работ по сайту за месяц, день, год

Благодаря мониторингу вы можете в любой момент оценить, насколько активно и правильно ведется работа по добавлению новых страниц и проведению экспериментов над уже существующими.

История изменений по конкретной странице

Чем больше сайтов вы продвигаете, тем полезнее данный вариант применения инструмента. Самым ценным он будет для руководителей проектов в агентствах и SEO-компаниях.

Как может выглядеть подозрительная активность на сайте

Одно дело – ошибки, допущенные из-за лени, невнимательности, незнания, и совсем другое – умышленные действия профессионалов по взлому ваших сайтов и использованию их в своих целях. Обратите внимание на массовое удаление/добавление страниц, не предусмотренных вашей стратегией, и примите необходимые меры по защите сайта.

Работа над конкретной страницей ведется сразу по многим фронтам. Вы переписываете и добавляете контент, тестируете разное содержание title, description, h1 тегов, строите ссылки с внутренних и внешних страниц, ускоряете загрузку страницы, меняете дизайн и т. д. В условиях пересечения изменений выявить точную причину роста/падения позиций очень сложно. Но вы сознательно можете уделить определенный период времени экспериментам только над метатегами.

Title на странице kparser.com был изменен 20 августа

Например, эксперимент проведенный с главной страницей нашего генератора поисковых подсказок. До эксперимента наш тег title начинался с фразы «professional keyword suggestion tool». Слово «professional» не имело какого-либо значения с точки зрения SEO и выступало только инструментом позиционирования среди конкурентов. Убрав его, мы сделали так, что наш title теперь начинался с основного ключевого слова, по которому должна ранжироваться эта страница – «keyword suggestion tool». Согласно исследованию Ahrefs, вхождение ключевого слова в самом начале тайтла имеет. хоть и небольшую, корреляцию с успешностью ранжирования страницы в Google.

Исследование влияния разных факторов ранжирования от Ahrefs

Соответственно, наша гипотеза: title, в котором ключевое слово находится в самом начале, приведет к росту позиций и увеличению показов в Google SERP по основному запросу (URL находился на второй странице выдачи Google).

Как я показал на скрине выше, title был изменен 20 августа. Теперь можно оценить, насколько оправдалась гипотеза.

Показы и средняя позиция по ключевой фразе на 20.08.2018 г.

Рост небольшой, но ощутимый. Средняя позиция по ключевому слову увеличилась на 5.8 позиций, а количество показов выросло больше, чем в два раза.

Показы и средняя позиция по ключевой фразе на 24.09.2018 г.

Важно, что за этот временной промежуток других работ со страницей не проводилось.

Вот такой простой эксперимент. Вы можете провести подобный всего за несколько минут. Найдите страницы, которые ранжируются на 10-20 позиции, измените в них title, как указано выше, и зафиксируйте изменения спустя несколько недель.

Таким образом, с помощью мониторинга вы можете экспериментировать со следующими факторами ранжирования:

Хоть в интернете и хватает исследований по каждому из этих факторов, самостоятельные эксперименты могут удивить вас своими результатами.

Кроме планомерной реализации ранее созданной контент-стратегии, вы можете использовать данные мониторинга конкурентов для поиска новых интересных идей. Включите в мониторинг 3-5 самых активных конкурентов, и через месяц у вас будет достаточно информации для расширения собственной стратегии контент-маркетинга.