X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по файлу robots.txt
FIvYur
FIvYur
Topic Starter сообщение 22.9.2017, 14:43; Ответить: FIvYur
Сообщение #1


Друзья. Нужен совет. Решил уделить время своему старому сайту. Поднял его robots.txt и вижу:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: */comment-page-
Disallow: */page-
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Host: САЙТ
Sitemap: http://САЙТ/sitemap.xml
Sitemap: http://САЙТ/sitemap.xml.gz

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag


1. Нормальный? Может устарел? Что подправить?
2. В индексе сидят страницы /comment-page-1 и /page/31 так их убрать? Вроде прописано, а они сидят.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 22.9.2017, 16:16; Ответить: airman
Сообщение #2


Прежде чем что-то удалять из индекса надо глянуть на какие страницы идет трафик, на какие есть ссылки, канонические и т.д. Добавь в панель вебмастера на яндексе, он покажет расклад по сайту.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FIvYur
FIvYur
Topic Starter сообщение 22.9.2017, 23:31; Ответить: FIvYur
Сообщение #3


birds, ммм чуть подробнее... В вебмастер добавил. Дальше?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dotatin
Dotatin
сообщение 23.9.2017, 13:41; Ответить: Dotatin
Сообщение #4


FIvYur,
Вот тут посмотри. Ещё загляни сюда - https://metrika.yandex.ru/list? Там можно увидеть трафик на какие страницы поступает.

Прикрепленное изображение
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FIvYur
FIvYur
Topic Starter сообщение 23.9.2017, 15:11; Ответить: FIvYur
Сообщение #5


Зашел. Посмотрел.
Прикрепленное изображение


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aman_sf
Aman_sf
сообщение 23.9.2017, 21:55; Ответить: Aman_sf
Сообщение #6


Оба поисковика будут игнорировать правила роботса, и это уже давно так. Если им кажется, что суть ответа отображается под анкорной ссылкой с #. Помню извлекал такое из трафика путем выдачи ответа 404, но там были проблемы движка. Но не закончил опыт.

Про проверить. Вам говорят проверить то, есть ли трафик на те страницы которые Вы собрались удалить. Вдруг боком выйдет. В метрике найдите на главной странице сайта функцию Адрес страниц, и там смотрите есть ли "неугодные" в списке.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sa[Y]moN
Sa[Y]moN
сообщение 24.9.2017, 1:55; Ответить: Sa[Y]moN
Сообщение #7


Для WP использовал в свое время такой robots:
User-Agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: site.ru
Sitemap: https://site.ru/sitemap.xml


Краткость - сестра таланта


Если что-то отдельное нужны закрыть, то:
<meta name="robots" content="noindex">
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 25.9.2017, 10:48; Ответить: airman
Сообщение #8


FIvYur, зайди в раздел индексирование, выбери страницы в поиске

Прикрепленное изображение


Там по фильтру можно выбрать категории страниц и посмотреть

Прикрепленное изображение


Если сайт недавно добавил, то возможно там еще не успели отобразиться данные. Вот, главное посмотри, что бы индексе не было дублей и разного мусора, их в роботсе и закроешь. Так же надо проверить на канонические страницы, а то у меня недавно был глюк с ними и трафиковая страница вылетела из индекса.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fedor30
fedor30
сообщение 5.12.2017, 0:51; Ответить: fedor30
Сообщение #9


Я тоже недавно круто пролетел на канонических страницах :)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос - платное размещение баннеров на сайте
10 WGN 3195 14.12.2020, 14:20
автор: Peterson
Открытая тема (нет новых ответов) Вопрос по рекламе в "инстаграме"
Только активные аккаунты могут создавать или редактировать рекламу
8 Zubkov 16059 17.1.2020, 17:49
автор: Forumacc
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос-ответ о работе форума
307 dos1k 43346 9.11.2019, 17:59
автор: heks
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 79137 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7648 28.3.2019, 18:31
автор: regem


 



RSS Текстовая версия Сейчас: 26.4.2024, 3:51
Дизайн