закрыть каждую страницу по отдельности а эту нет, по другому вроде ни как

Не забывайте про директиву Allow:

Disallow: /musor/
Allow: /musor/78

Хотя, на 100% в правильности этого не уверен.

DJ Triton, точно! не зря у вас статус Эксперт ruSEO!! :)

а правильность можно проверить на практике :)

Точно, так! Я забыл просто. Спасибо большое!

Здравствуйте, как раз разбираюсь с созданием robots и sitemap. Создал файл robots.txt по образцу, который нашёл в гугле, это был ролик с ютуба, думал всё пучком, в гугле показывает, что файл роботс есть, а потом знакомый прогер сказал, что он неправильный.
Кто сможет подробно рассказать, что к чему? У меня сайт на движке phpbb. По структуре уже вроде как правильно, а вот по закрытию от индекса ненужного не правильно, названия не совпадают. Если нужно, покажу последний вариант для наглядности. И ещё, карту сайта генерировал на специальном сайте, но такие подозрения, что для phpbb она должна быть другая.

SPVartovsk, как мы может подсказать не видя вашего сайта и не знаю что вам нужно закрывать а что нет. И почему прогер сказал что не правильно (получается что он разбирается в этом), но не подсказал как правильно сделать.

Показывайте свой сайт, а мы подумаем.

а я по-моему встречал, что команды allow то и нету.

tar1k15
Таки есть, это одна из стандартных директив. Читаем яндекс и не флудим.

Cougle, Да-да, Вы правы. Но вот до сего ответа я не был уверен касательно других ПС, ведь знаем, что Яша в этом плане немного выделяется. Но вот проверил на этом источнике - http://robotstxt.org.ru/robotstxterrors#Allow____ и понял, что на сегодняшний день уже и Гугл понимает allow. Хотя раньше такого не было.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.