Robots.txt для WordPress
Комментарии (0) Обратил внимание, что робот Яндекса пытается проиндексировать ленты новостей, а также некоторые служебные файлы WordPress. Xml-файлы робот Яндекса не понимает, что приводит генерации большого числа предупреждений в панели Яндекс.Вебмастер.
Замечания от Яндекса (стандартный robots.txt)
Чтобы исправить ситуацию необходимо отредактировать файл robots.txt. Рекомендуемый мною вариант таков:
User-agent: * Allow: /wp-content/uploads/ Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: */feed Disallow: */comment-page
Теперь подробнее:
- Строка 1. Говорит о том, что последующие команды относятся ко всем роботам.
- Строка 2. Разрешает доступ к директории /wp-content/uploads/- как правило там хранятся загружаемые пользователями файлы. Пускай индексирует.
- Строка 4. Запрещает доступ к файлу /xmlrpc.php (был в числе проиндексированных Яндексом страниц)
- Строка 5-7. Запрещает доступ к содержимому директорий wp-admin, wp-includes, wp-content (т.к. в строке 2 мы разрешили доступ к /wp-content/uploads/ доступ будет закрыт для всех директорий кроме этой).
- Строка 8. Запрещает доступ к лентам новостей (записей и комментариев) на всех страницах. Именно эта строчка уменьшает количество замечаний в панели Яндекс.Вебмастер.
- Строка 9. Запрещает доступ к страницам комментариев. Эта сторка очень полезна для SEO, т.к. поисковики не любят дублированный контент.
В результате использования такого robots.txt через неделю количество замечаний сократилось радикальным образом. В индексе остались только нужные мне страницы.
Замечания от Яндекса (измененный robots.txt)
Themocracy