0

Robots.txt для WordPress

Обратил внимание, что робот Яндекса пытается проиндексировать ленты новостей, а также некоторые служебные файлы WordPress. Xml-файлы робот Яндекса не понимает, что приводит генерации большого числа предупреждений в панели Яндекс.Вебмастер. 


Замечания от Яндекса (стандартный robots.txt)

Замечания от Яндекса (стандартный robots.txt)

Чтобы исправить ситуацию необходимо отредактировать файл robots.txt. Рекомендуемый мною вариант таков:

User-agent: *
Allow: /wp-content/uploads/
Allow: /feed/

Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: */feed
Disallow: */comment-page
Disallow: */trackback
Disallow: */?replytocom

Теперь подробнее:

  • Строка 1. Говорит о том, что последующие команды относятся ко всем роботам.
  • Строка 2. Разрешает доступ к директории /wp-content/uploads/- как правило там хранятся загружаемые пользователями файлы. Пускай индексирует.
  • Строка 3. Разрешает доступ к основной ленте rss новостей.
  • Строка 5. Запрещает доступ к файлу /xmlrpc.php (был в числе проиндексированных Яндексом страниц)
  • Строка 6-8. Запрещает доступ к содержимому директорий wp-admin, wp-includes, wp-content (т.к. в строке 2 мы разрешили доступ к /wp-content/uploads/ доступ будет закрыт для всех директорий кроме этой).
  • Строка 9. Запрещает доступ к второстепенным лентам новостей (записей и комментариев) на всех страницах. Именно эта строчка уменьшает количество замечаний в панели Яндекс.Вебмастер.
  • Строка 10. Запрещает доступ к страницам комментариев. Эта сторка очень полезна для SEO, т.к. поисковики не любят дублированный контент.
  • Строка 12. Запрет индексации страниц, генерируемых при использовании на сайте древовидных комментариев.

В результате использования такого robots.txt через неделю количество замечаний сократилось радикальным образом. В индексе остались только нужные мне страницы.

Замечания от Яндекса (измененный robots.txt)

Замечания от Яндекса (измененный robots.txt)

Метки: WordPress