Здравствуйте, подскажите пожалуйста, как правильно создать файл robots.txt для Wordpress. Все его описывают совершенно по разному, как же все таки правильно? И если можно с комментариями, что именно закрываем.

Я остановился на таком, но не уверен в его оптимальности.

[spoiler="robots.txt"]User-agent: YandexBlog
Disallow:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: мойсайт.ру
Sitemap: http://мойсайт.ру/sitemap.xml

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=[/spoiler]

Некоторые еще вставляют строчку Disallow: /template.html, но у меня этого файла вообще нет.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.