Вопрос “как ускорить индексацию сайта” волнует многих пользователей. Еще пару лет назад были актуальны способы привлечения бота для быстрой индексации с помощью социальных сетей, в особенности, с помощью твиттера. Примерно в это же время появились сервисы getbot.guru, indexgator.com и т.п., которые отлично справлялись с задачей добавления страниц в индекс. Но со временем поисковые системы научились бороться с данными способами. Что делать?
Вопрос не теряет актуальности и сегодня, что видно по данным сервиса wordstat.yandex.ru:
Чаще всего пользователи сталкиваются с проблемой индексации сайта по следующим причинам:
• Новый сайт, для индексации которого необходимо время;
• Технические проблемы (ответ сервера, мусорные страницы, грубые ошибки в robots.txt и т.д.);
• Проблемный домен (под санкциями);
• Плохая структура сайта;
В рамках данной статьи не будем раскрывать ответы на вопросы про данные проблемы, будем считать, что сайт у нас идеальный и без ошибок, робот может легко и без проблем ходить по страницам сайта, но сайт (весь или частично) все равно не хочет попадать в индекс. Что делать? Разберем основные действенные методы улучшения индексации.
Прежде чем разбираться в данном вопросе, проверьте, действительно ли не индексируется ваш документ. Это можно сделать:
• с помощью оператора URL в Яндексе:
• с помощью оператора info в Google:
Если документа действительно нет в индексе, то, с помощью нескольких эффективных способов, вы можете улучшить положение:
1. Файл sitemap.xml, где указываем дату обновления и приоритет обхода :
a. Если сайт не проиндексирован полностью – указываем ссылки на все посадочные страницы;
b. Если на сайте робот принципиально не хочет брать в индекс определенные страницы, то составляем файл sitemap.xml только из данных страниц.
2. Переобход страниц в Яндексе – пользуемся новым инструментом в вебмастере отечественного поисковика. Инструмент действительно работает хорошо и со своей задачей справляется на отлично. Но не стоит забывать, что задача инструмента – привлечь робота на страницу, а вот проиндексирует поисковик ее или нет – это вопрос второй. У Google есть аналогичный инструмент, работает также хорошо.
3. Внешние ссылки – еще один отличный способ увеличить индексацию сайта. Так как нам нужны ссылки на некоторое время (до попадания в индекс документа), то можно воспользоваться биржей Sape.
4. Социальные сети – ссылки с живых аккаунтов также учитываются и помогают при индексации сайта. На биржах, к сожалению, вы не найдете качественный источник социальных откликов.
5. Получение мгновенного трафика с хорошей активностью на документ – это отличный способ попадания в быструю выдачу. Источником трафика может быть что угодно, например, email-рассылки или какое-либо сообщество. Важно, чтобы трафика было много и сразу.
6. Перелинковка сайта – ссылки на страницы можно ставить как рандомно (при обновлении страницы – ссылки всегда меняются), так и по какому-либо алгоритму (статичные ссылки, например, закольцованные по ID страниц).
7. Ссылки с главной страницы сайта на внутренний документ, который плохо индексируется.
Если данные способы не помогли, а Ваш ресурс является белым, то предлагаю еще раз проверить техническое состояние проекта.
Часто попадаются проблемные коммерческие проекты, у которых запросы не в ТОПе и, первое, что я проверяю – это индексация документа, а уже потом смотрю на правильное распределение ключевых слов (кластеризацию). Это две основные проблемы, которые допускают иногда и SEO-специалисты с хорошим опытом.
Бывают и сложные случаи:
• Технические проблемы у поисковых систем. Решение: ждать или менять домен. Пример из практики: Проект никак не хотел попадать в ТОП по всем запросам из коммерческого предложения, а проблема заключалась в индексации некоторых страниц сайта. Сделано все, что можно – но тех. поддержка Яндекса заявляла о технических ошибках с их стороны. 3-4 месяца проект не мог побороть данную проблему, уже посещали мысли о смене домена, но в один момент – сайт отпустило.
• Технические проблемы на сайте. Решение: выявлять и исправлять. Основные:
• мусорные страницы, которые генерирует CMS. Боту приходится тратить свои ресурсы на изучение данных страниц. Их нужно закрывать в файле robots.txt или избавляться от них насовсем.
• неправильный ответ сервера. Многие не проверяют ответ сервера, где разработчики могут прописать все что угодно.
• Плохая история сайта. Решение: менять доменное имя. Данный факт может плохо аукнуться на всем проекте, поэтому всегда проверяйте историю домена и изучайте упоминая о сайте.
На этом все, друзья. Данные способы мне помогли не раз при работе с проблемными проектами. Если вы знаете более действенные способы, делитесь в комментариях.
От редакции: Что мешает продвижению сайта?, как делать комплексный аудит сайта и какие инструменты для этого использовать, основы внутренне оптимизации сайта - обо всем этом читайте в нашем блоге.
Если вы хотите научиться оптимизировать сайты и стать суперменом-сеошником, то можем предложить курс «SEO-оптимизация: продвижение сайтов в поисковых системах». После курсов проведете аудит сайта и создадите стратегию продвижения. Научитесь анализировать конкурентов, сформируете семантическое ядро. Прогнозируя результаты продвижения, сможете оптимизировать бюджет. Привлекательно? Записывайтесь!
Авторизуйтесь, чтобы оставлять комментарии