Каталог cgi-bin может присутствовать если сайт размещен на сервере использующем эту древнюю технологию, в настоящий момент практически все сервера настраиваются на работу php как модуля apache и такой каталог соответственно отсутствует. Раньше он использовался как некоторая перевалочная база между веб-сервером и интерпритатором php, сейчас веб-сервера с php тесно интегрируются и работают со скриптами напрямую.

Если я правильно понял, для индексации без “www” будет так? Спасибо!

User-agent: Yandex
Disallow:
Host: famili-doc.ru

User-agent: *
Disallow:

Да, если не хотите ничего закрывать от индексации роботами, то такой robots.txt для вашего сайта будет вполне нормальным...

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.