Robots.txt для блога на WordPress

Опубликовано автор в категориях SEO, WordPress.

Без сомнения, делая любой интернет проект, нужно всегда думать о поисковой оптимизации. И хотя основные ее этапы и процедуры, в принципе стандартны, каждый вебмастер подходит к этому индивидуально. Этим люди и отличаются от роботов. Кстати о robots (роботах), вот для них то, как раз результаты вашей работы начинаются стандартно – с файла robots.txt

Файл robots.txt может оказать огромное влияние на индексацию Вашего блога или сайта и продвижение в поисковиках.
Желательно, перед добавлением вашего детища в поисковики сделать универсальный файл robots.txt, который поможет вашему блогу и поисковику лучше понять друг друга.

Для создания такого файла лично мне понадобился блокнот и Google. Те же, кому лень открывать блокнот, могут установить плагин KB Robots.txt, и непосредственно в «Панели администрировании» -> «Опции» -> «KB Robots.txt», могут легко менять содержание файла robots.txt Вашего блога.

В общем, прогуглив эту тему я создал файл, на мой взгляд ориентированный на два наиболее авторитетных поисковика: для Рунета – Яндекс, для всего – Google.

Вот так он выглядит:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Host: master-web.info
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Очень интересно услышать ваши мнения, замечания, дополнения в комментариях.ICND2

Похожие записи:

  1. 60 великолепных RSS-иконок для вашего блога ко Дню RSS
  2. Безопасный блог на WordPress
  3. Добавляем миниатюру записи в RSS фид WordPress
  4. WordPress 2.6 (beta1) – первый пошел
  5. Генератор тем для WordPress

20 комментариев к записи “Robots.txt для блога на WordPress”

  5. Костя

    Вообще не понятно, зачем самому обычному сайту, который хочет и должен быть проиндексирован везде где только можно делать разные директивы указывая поименно поисковики и боты?
    Вполне достаточно указать лишь:
    User-agent: *
    И этим все сказано.

    Ну и еще в данной заметке не хватает строчки о том, что данный файл должен всегда находиться в корневой директории сайта, потому как ищется роботами только там и нигде иначе.
    В данном случае этот файл должен быть здесь:
    http://www.master-web.info/robots.txt

    Ответить

  7. Hiway

    Если вы внимательно смотрели статью, то в самом rodots.txt есть строка Disallow: /comments — вот вам и ответ.

    Ответить

  12. Hiway

    @Денис: Я не использовал никогда этот плагин, потому, наверное, в статье и указан еще один вариант. Зайдите через ftp и отредактируйте файл в блокноте. Там нет ничего сложного, а время на правку плагина сэкономите.

    Ответить

  13. Ходзинский Александр

    Пользуюсь вордпрессом недавно, потому с директориями знаком не очень хорошо. Спасибо большое. Буду осваивать теперь папки и то, что именно мы отключили от индексации

    Ответить

  17. vitaliy

    Спасибо за статью, значительно помогла в понимании формирования файла для роботов. Особенно для меня это сейчас актуально, так как Гугл уже начал индексировать ненужные страницы. Еще раз спасибо!!!

    Ответить

  18. Альберт Аухадуллин

    User-agent: *
    Disallow: /archives/
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-content/cache
    Disallow: /category
    Disallow: /comments
    Disallow: /search/
    Disallow: /xmlrpc.php
    Disallow: /cgi-bin
    Disallow: /tag/
    Disallow: /wp-admin

    User-agent: Yandex
    Disallow: /archives/
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-content/cache
    Disallow: /category
    Disallow: /comments
    Disallow: /search/
    Disallow: /xmlrpc.php
    Disallow: /cgi-bin
    Disallow: /tag/
    Disallow: /wp-admin
    Host: www . rtiivaz . ru — Срока хост нормальная, просто я скрыл ссылку (Hiway)

    Скажите где у меня Robots.txt ошибка? И надо ли прописывать эту страку: Disallow: /archives/

    Ответить

Оставить комментарий на Денис

  • (не будет показан)