robots.txt для wordpress

robots.txt для wordpress

Доброго времени суток читатель. Как часто начинающий вебмастер, как в омут с головой кидается в мир плагинов и раскрутку сайта. Забывая обо всем на свете. А забыть про правильно настроенный robots.txt, это значит обречь свой блог на мусорную индексацию поисковыми системами. В поиск попадут все служебные файлы движка wordpress, что очень плохо.


То есть если объяснять на пальцах, то правильный robots.txt служит дорожным регулировщиком для поисковых роботов. Говоря им, что «-вот эти папки для ваших щупалец закрыты, а то что не запрещено можете читать вдоль и поперек».

Где находится robots txt в wordpress? Этот текстовый документ находится прямо в корне вашего блога или в папке /blog если вы установили движок в отдельную директорию.

Составить этот файл можно по разному, но самый простой и часто встречающийся это такой:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: disgorge-mex.com( укажите свое доменное имя )
 
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http:// disgorge-mex.com /sitemap.xml(свое доменное имя)

Опять немного растолкую содержание robots.txt:

User-agent: Yandex -Указываем для какого робота будут ниже следующие правила.
Allow: -Что разрешаем просматривать поисковому роботу.
Disallow: -Куда запрещаем заглядывать паучку пс.
Host: -Указываем адрес нашего блога с www или без.

User-agent: * -Ниже следуют правила для всех роботов.
Sitemap: -Указываем адрес карты блога.

Как видим можно указать всем роботам сразу в User-agent: * все правила, а можно расписать правила для каждого робота отдельно User-agent: Yandex.

Создаете или открываете для редактирования, в корне блога файл robots.txt и вставляете туда этот текст. Сохраняете и проверяете свой файл по адресу http://ваш_блог/robots.txt
Не бойтесь экспериментировать с этим файлом. И не забывайте, что вы всегда можете подглядеть структуру этого файла у соседа, набрав его адрес/robots.txt.

Удачи вам.

Понравилась статья — поделитесь ею в социальных сетях с друзьями
Подписаться на НОВЫЕ статьи!
Введите Ваш e-mail, чтобы знать куда отправлять Вам новости блога

Добавить комментарий