X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по /page/
FIvYur
FIvYur
Topic Starter сообщение 6.7.2016, 11:21; Ответить: FIvYur
Сообщение #1


Друзья. Подскажите такой вопрос. У меня в индексации сидят вот такие страницы:
мой сайт/page/1
мой сайт/page/2
и так далее.

Также есть вот такие:
мой сайт/статья/comment-page-1
мой сайт/статья/comment-page-2
и так далее.

В файле robots.txt прописал:
Disallow: */page-
Disallow: */comment-page-

Но они все равно в индексации сидят.

Что посоветуете как их убрать и что бы они там не появлялись после апа.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aman_sf
Aman_sf
сообщение 6.7.2016, 13:30; Ответить: Aman_sf
Сообщение #2


То есть, ты недавно поменял робота? В таком случае боты могли не проиндексировать по новым правилам, но в любом случае боты могут полностью забить на приоритеты роботса.

Помойму твои Disallow команды не сработают, они никого вроде бы не цепляют.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 6.7.2016, 17:10; Ответить: k0ttee
Сообщение #3


Очень баянистая тема, наверняка речь идет о движке WP.

Либо обновиться не успело (в гугле должно быстрее яндекса) либо инструкции не правильно составлены.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FIvYur
FIvYur
Topic Starter сообщение 7.7.2016, 9:22; Ответить: FIvYur
Сообщение #4


Да тема WP. Поменял давно.
Сброшу сам файл. Подскажите как должно быть правильно. Роботс старый. Может стоило изменить.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: */comment-page-
Disallow: */page-
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Host: сайт
Sitemap: сайт/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

Добавлено спустя 15 часов 6 минут 9 секунд:
Есть кто может подсказать?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aman_sf
Aman_sf
сообщение 7.7.2016, 10:50; Ответить: Aman_sf
Сообщение #5


Мне не ясна конструкция для вп

Disallow: */page-

Вот это, как поисковики собираются отделять страницы. У меня все инструкции простые, вот такие

Disallow: */page/

Такие точно работают, все страницы далее /page/ я попросил ботов не индексировать, а тут обычно для многих страниц в конце / даже не стоит. Может стоит найти новый актуальный роботс для ВП?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
msd777
msd777
сообщение 7.7.2016, 10:58; Ответить: msd777
Сообщение #6


В файле robots.txt скорее всего:
Disallow: /page
Disallow: /comment-page

Яндекс прочтёт и удалит эти страницы. Гугл положит прибор на роботс и оставит в индексе с припиской, что описание отсутствует из-за ограничений в robots.txt


--------------------
My Name is the brand! <!-- s:bomb: --><img src="{SMILIES_PATH}/bomb.gif" alt=":bomb:" title="bomb" /><!-- s:bomb: -->
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 8.7.2016, 12:33; Ответить: airman
Сообщение #7


(msd777)
Гугл положит прибор на роботс и оставит в индексе с припиской

В панеле вебмастера Гугла можно вручную удалить эти страницы


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
msd777
msd777
сообщение 8.7.2016, 13:08; Ответить: msd777
Сообщение #8


(birds)
В панеле вебмастера Гугла можно вручную удалить эти страницы

Да есть такая функция у Гугла и я ей пользовался даже. Вручную по одной. Но вроде это запрос на временное удаление.
То есть он удалит из индекса, а через некоторое время теоретически может вернуть назад. Гугл вообще муторный в этом плане.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
My Name is the brand! <!-- s:bomb: --><img src="{SMILIES_PATH}/bomb.gif" alt=":bomb:" title="bomb" /><!-- s:bomb: -->
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Разработка сайтов под ключ! Landing Page, Сайты, Магазины.
9 M-seo 10316 12.4.2022, 18:09
автор: M-seo
Открытая тема (нет новых ответов) Эксклюзивно! Дизайн сайтов, landing page, интернет-магазинов, соц сетей. Сайты под ключ
Дизайн сайтов, дизайн интернет магазинов, сайты под ключ
10 Mr_SMO 13700 14.6.2021, 6:14
автор: Mr_SMO
Открытая тема (нет новых ответов) Вопрос - платное размещение баннеров на сайте
10 WGN 3125 14.12.2020, 14:20
автор: Peterson
Открытая тема (нет новых ответов) Нужно сверстать Landing Page
на HTML
0 Mr_SMO 969 18.8.2020, 19:35
автор: Mr_SMO
Открытая тема (нет новых ответов) Готовый html шаблон landing page - Служба такси
1 wdiz 3491 20.7.2020, 10:25
автор: wdiz


 



RSS Текстовая версия Сейчас: 28.3.2024, 15:15
Дизайн