Обратил внимание, что робот Яндекса пытается проиндексировать ленты новостей, а также некоторые служебные файлы WordPress. Xml-файлы робот Яндекса не понимает, что приводит генерации большого числа предупреждений в панели Яндекс.Вебмастер.
Чтобы исправить ситуацию необходимо отредактировать файл robots.txt. Рекомендуемый мною вариант таков:
User-agent: * Allow: /wp-content/uploads/ Allow: /feed/ Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: */feed Disallow: */comment-page Disallow: */trackback Disallow: */?replytocom
Теперь подробнее:
- Строка 1. Говорит о том, что последующие команды относятся ко всем роботам.
- Строка 2. Разрешает доступ к директории /wp-content/uploads/- как правило там хранятся загружаемые пользователями файлы. Пускай индексирует.
- Строка 3. Разрешает доступ к основной ленте rss новостей.
- Строка 5. Запрещает доступ к файлу /xmlrpc.php (был в числе проиндексированных Яндексом страниц)
- Строка 6-8. Запрещает доступ к содержимому директорий wp-admin, wp-includes, wp-content (т.к. в строке 2 мы разрешили доступ к /wp-content/uploads/ доступ будет закрыт для всех директорий кроме этой).
- Строка 9. Запрещает доступ к второстепенным лентам новостей (записей и комментариев) на всех страницах. Именно эта строчка уменьшает количество замечаний в панели Яндекс.Вебмастер.
- Строка 10. Запрещает доступ к страницам комментариев. Эта сторка очень полезна для SEO, т.к. поисковики не любят дублированный контент.
- Строка 12. Запрет индексации страниц, генерируемых при использовании на сайте древовидных комментариев.
В результате использования такого robots.txt через неделю количество замечаний сократилось радикальным образом. В индексе остались только нужные мне страницы.
