Запрет главной страницы и page в robots.txt


Запрет главной страницы и page в robots.txt

Сообщение batrak »

Всем доброго дня! Есть сайт статейник на вордпрессе. Статьи выводятся на главную страницу. Решил проверить индексацию с помощью строки поиска самих поисковиков через site:moysait.ru. В яндексе мусора нет, идет индексация статей, а вот у гугла вся первая страница забита однообразными заголовками, сообщениями с главной страницы и page1 page2 и т.д. Скажите пожалуйста как через robots.txt запретить главную страницу и page? Так?

Disallow /moysait.ru
Disallow /page

Сначала я хотел так сделать, но потом побоялся что вообще весь сайт перестанет индексироваться. Потом хотел прописать в Disallow вот так /index.html или /index.htm , но по этим страницам сайта нет. Отображается только по moysait.ru . Скажите подойдут ли такие команды которые я написал выше? Или как то по другому надо?

И второй вопрос, я ориентируюсь на один сайт, у него статьи размещаются на отдельной странице, к примеру /straniza-statei , так вот у него в секции user agent* стоит Disallow /straniza-statei , а в секции для яндекса user agent yandex Disallow /straniza-statei не прописано. Правильно ли я понимаю, в роботсе для яндекса не надо подобное прописывать? Он и так все отсеивает самостоятельно?

batrak

 
Группа: Cлучайный прохожий
Сообщения: 47
Зарегистрирован: 16 июн 2016
Средств на руках: 80.85
Статус: не указан
Спонсор
 
Re: Запрет главной страницы и page в robots.txt

Сообщение birds »

Вчитайтесь в название "главная страница сайта"... Это же самая главная страница, ее ни кто не закрывает от индексации, вы чего.. :blink:

Поясните что значит
batrak писал(а):а вот у гугла вся первая страница забита однообразными заголовками
Аватара пользователя
birds
Администратор
 
Группа: Администраторы
Сообщения: 16757
Рефералы: -209
Зарегистрирован: 24 авг 2010
Откуда: местный житель
Средств на руках: 269.50
Статус: летящий вперед
Спонсор
 

Вернуться в Вопросы от новичков в SEO

 


  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 17



*** заработок на сайте, выплаты еженедельно, в долларах ***
-= покупка и продажа кликов и трафика =-