на небольшом html сайте на котором нету каких либо служебных модулей вполне можно обойтись. ПС на это нормально реагируют - проверено

лучше всего прописать, хотя бы хост там указать для Яши

это текстовый файл который находится в корневой директории сайта. в котором записываются инструкции для поисковых роботов. Они могут запрещать к индексации некоторые разделы и страницы на сайте, указывать неправильное зеркалиров. домена, рекомендовать поисковому роботу соблюдать определенный интервал между скачиванием документа ит.д.

неправлиьно составлении робот может ухудшить индексируемость или совсем ее запретить

Если вы задаете это вопрос - значит он вам не нужен))) вот если вам понадобится что-то закрыть от индексации или еще что-то, тогда понадобится. У меня на некоторых сайтах его нету.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.