X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Подскажите новичку, почему Google игнорирует мой robots.txt
ele-na
ele-na
Topic Starter сообщение 3.3.2011, 20:04; Ответить: ele-na
Сообщение #1


Здравствуйте, у меня следующая проблема: Google идексирует страницы сайта, которые закрыты в robots.txt.
В индексе яндекса всё хорошо, т.е. только статьи и категории, а вот гугл индексирует всё подряд (почти в 3 раза больше страниц), думала, что с каждым апом выдача поменяется, но уже более полугода без изменений. Пожалуйста, подскажите, что у меня не так? Сайт на движке DLE, вот мой robots.txt:
User-agent: *
Disallow: /page/
Disallow: /*?
Disallow: /admin.php
Disallow: /2010/
Disallow: /2011/
Disallow: /images.php?area=
Disallow: /cgi-bin/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /tags/
Disallow: /user/
Disallow: /index.php?subaction=userinfo
Disallow: /?subaction=userinfo
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=rules
Disallow: /index.php?dn=link&to=cat&id=60
Disallow: /?do=addnews
Disallow: /?do=feedback
Disallow: /?do=lostpassword
Disallow: /?do=pm
Disallow: /?do=register
Disallow: /?do=stats
Disallow: /?do=search
Disallow: /?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /?do=rules
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /favorites/
Sitemap: http://site.ru/sitemap.xml
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Palundra_sf
Palundra_sf
сообщение 9.3.2011, 16:12; Ответить: Palundra_sf
Сообщение #2


Курите
[spoiler=""]В файл robots.txt обычно пишут нечто вроде:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

В этом примере запрещена индексация трех директорий.

Затметьте, что каждая директория указана на отдельной строке – нельзя написать «Disallow: /cgi-bin/ /tmp/». Нельзя также разбивать одну инструкцию Disallow или User-agent на несколько строк, т.к. перенос строки используется для отделения инструкций друг от друга.

Регулярные выражения и символы подстановки так же нельзя использовать. «Звездочка» (*) в инструкции User-agent означает «любой робот». Инструкции вида «Disallow: *.gif» или «User-agent: Ya*» не поддерживаются.

Конкретные инструкции в robots.txt зависят от вашего сайта и того, что вы захотите закрыть от индексации. Вот несколько примеров:
Запретить весь сайт для индексации всеми роботами

User-agent: *
Disallow: /

Разрешить всем роботам индексировать весь сайт

User-agent: *
Disallow:

Или можете просто создать пустой файл «/robots.txt».
Закрыть от индексации только несколько каталогов

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

Запретить индексацию сайта только для одного робота

User-agent: BadBot
Disallow: /

Разрешить индексацию сайта одному роботу и запретить всем остальным

User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

Запретить к индексации все файлы кроме одного

Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

User-agent: *
Disallow: /docs/

Либо вы можете запретить все запрещенные к индексации файлы:

User-agent: *
Disallow: /private.html
Disallow: /foo.html
Disallow: /bar.html[/spoiler]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anubarak
anubarak
сообщение 19.6.2011, 22:14; Ответить: anubarak
Сообщение #3


А при чем тут к гуглу роботс? В гугле этот файл не имеет значения
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Serg_P
Serg_P
сообщение 20.6.2011, 3:23; Ответить: Serg_P
Сообщение #4


Это когда-же robots.txt перестал иметь значение для гугла? У гугла в инструментах для вебмастеров даже специальная утилита есть, помогающая корректно создать robots.txt Не нужно вводить людей в заблуждение...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 20.6.2011, 9:40; Ответить: airman
Сообщение #5


anubarak, заканчивайте флудить, последнее китайское...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lozmetakon
lozmetakon
сообщение 25.6.2011, 0:15; Ответить: lozmetakon
Сообщение #6


ele-na, а у вас все страницы, запрещенные в роботе, попали в индекс гугла? Я просто где-то в нете читал, что Гугл объявил, что информация, закрытая в роботе ил при помощи nofollow, может попадать в индекс по личному мнению гугла. Получается, что многие ограничения гугл может игнорировать, если не видит в этом вреда. Что то в этом духе. Все течет и изменяется.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Serg_P
Serg_P
сообщение 25.6.2011, 0:46; Ответить: Serg_P
Сообщение #7


Указания поисковому роботу при помощи файла robots.txt носят рекомендательный, а не обязательный характер и об этом поисковики не скрывают...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lozmetakon
lozmetakon
сообщение 25.6.2011, 12:36; Ответить: lozmetakon
Сообщение #8


(ZakaT)
Указания поисковому роботу при помощи файла robots.txt носят рекомендательный, а не обязательный характер и об этом поисковики не скрывают...

Так и есть. Получается, что можно потратить время на создание корректного файла робота, а ПС его проигнорируют или частично не учтут ))). Но думаю, что его, все таки, делать нужно. И ссылки, если хотите, ставьте в nofollow. А как на это посмотрит ПС - это второй вопрос, главное, что ваша совесть будет чиста ))).


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
shaddad_mw
shaddad_mw
сообщение 25.6.2011, 14:40; Ответить: shaddad_mw
Сообщение #9


Такое встречается с совсем новыми сайтами. Особенно если сайт проиндексировали поисковики, а роботс был установлен позже. Через некоторое время это проходит. Помню у меня гугл всё подряд индексировал :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Aman_sf
Aman_sf
сообщение 15.7.2011, 18:47; Ответить: Aman_sf
Сообщение #10


Ого какой робот :o , некторые страницы оставь а другие убери ..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐
12 Chekon 3822 24.3.2024, 13:56
автор: Chekon
Горячая тема (нет новых ответов) Google запускает новый браузер элементами искусственного интеллекта
38 arendator 13312 21.3.2024, 18:10
автор: Rebex
Открытая тема (нет новых ответов) Сайт не индексируется в Google без добавления ссылок в адурилку
4 Nekit 996 20.3.2024, 21:44
автор: MorKer
Открытая тема (нет новых ответов) Если статья не в индексе Google - она уникальна или нет?
2 uahomka 802 20.3.2024, 11:17
автор: Vmir
Открытая тема (нет новых ответов) Google adwords показывает дробное количество конверсий
0 Megaspryt 712 16.3.2024, 23:19
автор: Megaspryt


 



RSS Текстовая версия Сейчас: 29.3.2024, 19:57
Дизайн