Поисковая система Google имеет два индекса – основной и дополнительный. Дополнительный часто называют, как «сопли». Данное название получилось от английского Supplemental Index. Звучит, как сопли :)

Как известно, чем больше страниц в дополнительном индексе, тем меньшую ценность представляет сайта для поисковой системы в целом. Если Вы хотите, чтобы Ваш сайт в глазах Google был чище и правильнее, необходимо выявлять причины попадания страниц в дополнительный индекс и устранять их.

Стоит понять, что в этот индекс, как правило, попадают различного рода автоматически сгенерированные страницы Вашего сайта. В зависимости от движка сайта, они могут быть самыми разными.

Например, для Wordpress, это могут быть:

- страницы вложений для картинок (attachment)
- страницы группировки записей или товаров (?product_count=24)
- страницы самого движка или админки (wp-admin)
- страницы rss (feed)
- страницы аккаунтов (my-account)

И так далее. Их может быть довольно много. Надеюсь, понятно, что такого рода страницы не должны находиться ни основном, ни в дополнительном индексе.

Как правило, вебмастера, учитывая особенности своего движка, закрывают подобные страницы в файле robots.txt с твердой уверенностью, что так они не попадут ни в основной индекс, ни в «сопли».
Но как показывает практика, не смотря на ограничения в robots.txt, Google помещает часть таких страниц в свой дополнительный индекс.

Что же делать?

1. Правильный robots.txt

Первое, что нужно сделать, это все-таки прописать в robots.txt эти директивы. Например, так:

User-agent: *
Disallow: /wp-
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/*/*
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /cart
Disallow: /checkout
Disallow: /my-account
Disallow: /registraciya
Disallow: /rezultaty-poiska
Disallow: /compare

2. Выборка всех страниц, закрытых от индексации

Как мы понимаем, Google индексирует часть закрытых страниц. Давайте сначала соберем все закрытые страницы и после этого уже удалим непосредственно те, которые в индексе. Для того, чтобы собрать все закрытые страницы, нужно воспользоваться сканером сайтов. На мой взгляд, лучше всего с этим справляется программа Screaming Frog. Только не говорите мне ничего, что она платная :)

Открываем программу, вводим домен анализируемого сайта и жмем Start



После окончания сканирования, не особо рассматривая результаты, экспортируем их в excel – мы проанализируем результаты именно там.



Открываем большую таблицу с полученными данными и ставим фильтр. В данном конкретном случае нас интересует столбец Status.



Как Вы, наверняка, догадались, нам нужно отфильтровать те страницы, которые закрыты в robots.txt.



Копируем полученный список url адресов и пока бережно сохраняем.
Этот этап прошли. Поздравляю, теперь Вы знаете все свои страницы, которые закрыты через robots.txt. Пришло время узнать какие же из них в «соплях».

3. Поиск «соплей»

Я встречал людей, которые проверяют каждую из таких ссылок непосредственным вводом в поиск Google. И если там такая страница обнаружена, удаляют ее из индекса.



Данный путь довольно долгий. Если у Вас тысячи страниц закрыты (то, что мы получили на предыдущем шаге), то стоит подумать об автоматизации.
Для меня самым удобным инструментом оказался сервис seolib – инструмент Анализ качества ссылок.



Как Вы, надеюсь, поняли, нужно перейти туда и вставить все ранее найденные ссылки. Как видите, в примере на проверку отправлены 1456 ссылок и это стоило 36,45 рублей.


Нажимаем «Проанализировать ссылки», ждем какое-то время и получаем результаты. Только учтите, что придется вставлять список ссылок из нескольких частей. Вроде бы там не более 1000 за проверку. Я показал скриншот, чтобы было видно итоговую стоимость.



Как видите, в индексе Google присутствуют страницы, несмотря на то, что мы их закрыли в robots.txt.

4. Удаление страниц из индекса

Самый простой пункт в данной статье. Наверняка, Вы это знаете. Но все-таки покажу.

Идем в Search Consol в раздел Индекс Google – Удалить URL-адреса и жмем кнопку «Временно скрыть». В открывшееся поле необходимо вставить все те ссылки, напротив которых стоит «Да» из предыдущего шага.
К сожалению, массового удаления нет – придется каждую ссылку вставлять и подтверждать удаление.



Надеюсь, данная инструкция Вам пригодится. Удачи. И всем ТОПа!

Спонсор конкурса SEO PowerSuite - Программы для раскрутки и продвижения сайта.