Не знаю как у вас, но у меня проблемы с индексацией страниц своих сайтов возникают почти постоянно. Причина такого отношения поисковиков (это касается Яндекса, с Гуглом всё нормально) выяснилась достаточно быстро – отвратительно низкая скорость размещения новых материалов– бывает и по месяцу на сайте ничего нового не выкладываю.

А в начале этой весны Яндекс пошел ещё дальше – стал выкидывать из индекса уже старые, ранее проиндексированные материалы. Сейчас проблема с индексацией сайта почти устранена. Что и как делал, расскажу в данной статье.
Пытаясь найти решение проблемы с индексацией обратился к поисковикам.

Они выдают более 200К страниц со все возможными советами и методиками (от 3 до 40 способов ускорения индексации). Понятно, что не все из них рабочие, поэтому опишу актуальные способы ускорения индексации.
Но в начале о том, что помогает индексации сайта и о чем знает каждый веб мастер
1. Работа с самим сайтом (технические факторы):
- качество хостинга - частое "лежание сайта" отрицательно сказывается на частоте его посещения поисковым роботом
- структура сайта - "вес" страницы не более 10 мб, наличие внутренней перелинковки (внутренние ссылки не только с разделов меню, но и в самих статьях), отсутствие битых ссылок. Закрытие от индексации ненужных внешних ссылок - счетчики, кнопки соц сетей (иначе поисковый робот может уйти с вашего сайта полностью его не проиндексировав).
- Отсутствие технических ошибок (ошибки в коде).
- обязательное применение robots.txt и карты сайта Sitemap.
В роботсе мы указываем какие страницы нужно закрыть от индексации (особенно дубли), причем можно запретить индексацию как одному поисковику, так и всем сразу. И действительно, зачем "напрягать" робот всеми своими 5000 страницами, когда нужная информация сосредоточена на трех сотнях. В сети существует много примеров файла для различных CMS и различных типов сайтов. Выбирайте понравившийся, подстраивайте его под себя и размещайте

Необходимость создания карты сайта Sitemap сейчас не подлежит сомнению. Но создать нужно 2 карты сайта - одну в формате xml и помещаем в корень нашего сайта с указанием её месторасположения в файле роботс, вторая в формате html нужно добавить на сам сайт, создав раздел "карта сайта" с обязательным включением раздела в меню навигации на сайте. В ручную это сделать довольно хлопотно (особенно при большом количестве материалов и частоте размещения), поэтому создаём карту сайта с помощью плагинов к CMS и различных бесплатных сервисов и программ.
- настройка параметров Last-Modified. Подробнее о это способе нужно почитать тут
- добавляем сайт в панели вебмастера поисковиков (не только Гугл и Яндекс должны узнать о новом сайте но и Майл.ру, Бинг)
Всё это общие и обязательные условия правильной и быстрой индексации сайта. Мне они помогают при запуске новых сайтов, но дальше чтобы ускорить попадание новых страниц в индекс приходиться использовать-
2. дополнительные «ускорители»:

- добавление в аддурилку Яндекса и Гугла. Сам использую только для Яндеска и не очень часто, так как применяю другие способы
- пинг новой страницы в различные сервисы. Смысл простой – при размещении новой статьи нужно «дать знать» о новом материале, но не на прямую (через добавление в аддурилки) а с помощью специальных сайтов. Эти сайты получая от нас сигнал о новой странице оповещают об этом поисковики. Техника работы: загружаем список страниц (просто копируем или через .txt файл) и жмём кнопку старта.
Пинг можно сделать 3 путями:
- через специальные онлайн-сервисы – например pingfarm.com или letusindex.com
- бесплатной программкой pingxpert (качаем вместе со списком актуальных пингсервисов тут).
- не посредственно при размещении статьи, используя специальные плагины для CMS. Для джомлы применяю blogping. В Вордпрессе этот процесс упрощен - уже в саму админку "вшита" функция оповещения о новостях, с возможностью редактирования списка пинг-сайтов.
Применяю пинг почти постоянно, но только по тому что процесс почти полностью автоматизирован. Настроил плагин в джомле, да время от времени пингую карту сайта.
Результата при пинге ссылок с профилей сайтов (при прогоне) почти не наблюдается. Пинг страниц собственного сайта для ускорения индексации в отдельности от других способов не применял.
Трансляция вашей RSS-ленты в каталоги, соцсервисы и создание блогов на бесплатных платформах.

Объединил их в один пункт,так как можно за счет RSS создать кросспостинг в различные сервисы, куда также можно размещать анонсы своих материалов. По причине усиления влияния поведенческих факторов на продвижении сайта не нужно пренебрегать этим методом. Всё можно автоматизировать (до некоторых пределов).
Настроил себе кросспостинг в ЖЖ, ЛИ, Яру (причем можно настроить трансляцию записей в клубы ярушек), Фейсбук, Твиттер. О трансляции записей Вконтакте читаем тут
Из сервисов для настройки кросспостинга рекомендую использовать Пистон Постер: 14 сервисов (включая твиттер, фейсбук,вконтакте , яру, вордпресс), отложенная публикация, генерация текстов, прикрепление RSS ленты. Всё доступно как платно, так и бесплатно (ограничение 10 постов в день, 1 лента rss).
Для привязки rss к твиттеру, фейсбуку и linkedin можно с успехом использовать сервис twitterfeed.com . Подключаем нашу ленту к своим аккаунтам (можно больше чем 1 акаунт) и время от времени заходим контролируем работу.
Считаю, что соц закладки потеряли свою актуальность для индексации сайта. Хороших осталось мало, остальные под фильтрами. Лучше время потраченное на соцзакладки использовать в раскрутке своих соцсервисов - Вк, Фейс, Твитттер и т.п.

Твиттер - наиболее "сильный" ускоритель индексации (по мнению многих сеошников). Для попадания новой страницы в индекс, часто хватает 15 минут и одного твитта,однако твиттер аккаунт должен быть раскрученным. Подраскруткой нужно понимать не только количество фоловеров и, но и место аккаунта в рейтинге блогов от Яндекса. Я использовал для индескации страниц только свои твиттер аккаунты, в сумме около 20 (фолловеров от 0 до 1900), однако хороших аккаунтов всего 5. Автоматизировал процесс постинга в свои твиттер аккаунты с помощью различного софта (например "постилка" от Левши) и с помощью сервиса hootsuite.com - после регистрации бесплатно можно привязать 5 аккаунтов (твиттер, фейсбук) и постить сообщения сразу во все аккаунты. Но, что мне ещё понравилось - устанавливаем дополнения к браузерам (пользуюсь дополнением к Хрому и Мозиле) и находясь на странице своего сайта "легким движением руки" отправляем твитты с ссылкой на страницу.
Но, видимо отсутствие "раскрученных" аккаунтов не позволило мне проверить актуальность использования твиттера для индексации сайта. Конечно, можно купить твиттов с нужными ссылками с "крутых" твиттеров, например в Ротапосте (Миша Галустян твитнет вашу ссылку за 100 руб), но я пошел другим путём.
К актуальным способам ускорения индексации нужно отнести покупку ссылок с новостных сайтов (в той же Сапе), в тоже время наличие на сайте рекламы Яндекс.Директ не приводит к ускорению индексации (у меня это не сработало).

И так мой опыт в борьбе с индексацией.

Весной из индекса выпали 6 страниц и новые страницы стали индексироваться в течении 3-7 дней.
В первое время применял только аддурилку и свои Твиттер аккаунты. Результат - 1 страница вернулась в индекс, новые материалы индексировались за 5 дней.Понятно, что результат почти нулевой. Поэтому в конце лета взялся за проблему "по взрослому".

Что я делал чтобы вернуть в индекс старые страницы и ускорить индексацию новых
1. сменил хостинг, заменил шаблон (поставил старый). С главной страницы убрал онлайн трансляцию вебкамеры - интересно, но загрузка сайта была ниже "комфортных" для пользователей значений. Подредактировал файлы CSS (с помощью cy-pr.com), оптимизировал фотографии к статьям (правда это я делаю уже давно с помощью прогрграммки Riot ) . Немного изменил старые статьи - кое-что дописал, добавил фотку. На проблемных страницах оставил комментарии (естественно с другого компьютера и ip).
2. Настроил кросспостинг анонсов новых материалов в блогосервисы (ЖЖ, ЛИ, Яру), загонял туда же ссылки на старые статьи
3. Создал 2 клуба Яру, где размещал посты ссылками старых статей (выпавших из индекса) и "просил" помощи в индексации у пользователей. Естественно они мне помогали - ответами,репостами, ссылками, так как все они боты (остались после русеошника)
В итоге все страницы вернулись в индекс.
Сейчас применяю в основном прогон по ярушкам и 10 твиттер аккаунтов - новые статьи оказываются в индексе за 3-14 часов.
Сейчас также использую размещение небольших постов в сервисах "особо любимых" Яндексам - в индекс попадают в течении суток без дополнительных действий:
io.ua
nnov.org
viewy.ru
weebly.com

Вывод:
Актуальные способы ускорения индексации:
- правильная структура сайта (пункт 1)
- частое обновление материалов (новые статьи должны размещаться по 1-5 штук в день, наличие комментариев также приветствуется).
- кросспостинг ленты rss и анонсы новых статей в соц сервисы и в "особо любимые" поисковиками блогоплощадки.

Спонсор конкурса TeaserNet - эффективная система тизерной рекламы