Помощник
|
Подскажите новичку, почему Google игнорирует мой robots.txt |
ele-na
|
Сообщение
#1
|
||
|
|
||
|
|||
Palundra_sf |
9.3.2011, 16:12;
Ответить: Palundra_sf
Сообщение
#2
|
|
Курите
[spoiler=""]В файл robots.txt обычно пишут нечто вроде: User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ В этом примере запрещена индексация трех директорий. Затметьте, что каждая директория указана на отдельной строке – нельзя написать «Disallow: /cgi-bin/ /tmp/». Нельзя также разбивать одну инструкцию Disallow или User-agent на несколько строк, т.к. перенос строки используется для отделения инструкций друг от друга. Регулярные выражения и символы подстановки так же нельзя использовать. «Звездочка» (*) в инструкции User-agent означает «любой робот». Инструкции вида «Disallow: *.gif» или «User-agent: Ya*» не поддерживаются. Конкретные инструкции в robots.txt зависят от вашего сайта и того, что вы захотите закрыть от индексации. Вот несколько примеров: Запретить весь сайт для индексации всеми роботами User-agent: * Disallow: / Разрешить всем роботам индексировать весь сайт User-agent: * Disallow: Или можете просто создать пустой файл «/robots.txt». Закрыть от индексации только несколько каталогов User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ Запретить индексацию сайта только для одного робота User-agent: BadBot Disallow: / Разрешить индексацию сайта одному роботу и запретить всем остальным User-agent: Yandex Disallow: User-agent: * Disallow: / Запретить к индексации все файлы кроме одного Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию: User-agent: * Disallow: /docs/ Либо вы можете запретить все запрещенные к индексации файлы: User-agent: * Disallow: /private.html Disallow: /foo.html Disallow: /bar.html[/spoiler] |
|
|
anubarak |
19.6.2011, 22:14;
Ответить: anubarak
Сообщение
#3
|
|
А при чем тут к гуглу роботс? В гугле этот файл не имеет значения
|
|
|
Serg_P |
20.6.2011, 3:23;
Ответить: Serg_P
Сообщение
#4
|
|
Это когда-же robots.txt перестал иметь значение для гугла? У гугла в инструментах для вебмастеров даже специальная утилита есть, помогающая корректно создать robots.txt Не нужно вводить людей в заблуждение...
|
|
|
airman |
20.6.2011, 9:40;
Ответить: airman
Сообщение
#5
|
|
anubarak, заканчивайте флудить, последнее китайское...
-------------------- |
|
|
lozmetakon |
25.6.2011, 0:15;
Ответить: lozmetakon
Сообщение
#6
|
|
ele-na, а у вас все страницы, запрещенные в роботе, попали в индекс гугла? Я просто где-то в нете читал, что Гугл объявил, что информация, закрытая в роботе ил при помощи nofollow, может попадать в индекс по личному мнению гугла. Получается, что многие ограничения гугл может игнорировать, если не видит в этом вреда. Что то в этом духе. Все течет и изменяется.
-------------------- Моя работа |
|
|
Serg_P |
25.6.2011, 0:46;
Ответить: Serg_P
Сообщение
#7
|
|
Указания поисковому роботу при помощи файла robots.txt носят рекомендательный, а не обязательный характер и об этом поисковики не скрывают...
|
|
|
lozmetakon |
25.6.2011, 12:36;
Ответить: lozmetakon
Сообщение
#8
|
|
(ZakaT) Указания поисковому роботу при помощи файла robots.txt носят рекомендательный, а не обязательный характер и об этом поисковики не скрывают... Так и есть. Получается, что можно потратить время на создание корректного файла робота, а ПС его проигнорируют или частично не учтут ))). Но думаю, что его, все таки, делать нужно. И ссылки, если хотите, ставьте в nofollow. А как на это посмотрит ПС - это второй вопрос, главное, что ваша совесть будет чиста ))). -------------------- Моя работа |
|
|
shaddad_mw |
25.6.2011, 14:40;
Ответить: shaddad_mw
Сообщение
#9
|
|
Такое встречается с совсем новыми сайтами. Особенно если сайт проиндексировали поисковики, а роботс был установлен позже. Через некоторое время это проходит. Помню у меня гугл всё подряд индексировал :)
|
|
|
Aman_sf |
15.7.2011, 18:47;
Ответить: Aman_sf
Сообщение
#10
|
|
Ого какой робот :o , некторые страницы оставь а другие убери ..
|
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐ | 12 | Chekon | 3822 | 24.3.2024, 13:56 автор: Chekon |
|
Google запускает новый браузер элементами искусственного интеллекта | 38 | arendator | 13312 | 21.3.2024, 18:10 автор: Rebex |
|
Сайт не индексируется в Google без добавления ссылок в адурилку | 4 | Nekit | 996 | 20.3.2024, 21:44 автор: MorKer |
|
Если статья не в индексе Google - она уникальна или нет? | 2 | uahomka | 802 | 20.3.2024, 11:17 автор: Vmir |
|
Google adwords показывает дробное количество конверсий | 0 | Megaspryt | 712 | 16.3.2024, 23:19 автор: Megaspryt |
Текстовая версия | Сейчас: 29.3.2024, 19:57 |