Robots.txt для блога на WordPress
Без сомнения, делая любой интернет проект, нужно всегда думать о поисковой оптимизации. И хотя основные ее этапы и процедуры, в принципе стандартны, каждый вебмастер подходит к этому индивидуально. Этим люди и отличаются от роботов. Кстати о robots (роботах), вот для них то, как раз результаты вашей работы начинаются стандартно – с файла robots.txt
Файл robots.txt может оказать огромное влияние на индексацию Вашего блога или сайта и продвижение в поисковиках.
Желательно, перед добавлением вашего детища в поисковики сделать универсальный файл robots.txt, который поможет вашему блогу и поисковику лучше понять друг друга.
Для создания такого файла лично мне понадобился блокнот и Google. Те же, кому лень открывать блокнот, могут установить плагин KB Robots.txt, и непосредственно в «Панели администрировании» -> «Опции» -> «KB Robots.txt», могут легко менять содержание файла robots.txt Вашего блога.
В общем, прогуглив эту тему я создал файл, на мой взгляд ориентированный на два наиболее авторитетных поисковика: для Рунета – Яндекс, для всего – Google.
Вот так он выглядит:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
User-agent: Yandex
Host: master-web.info
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Очень интересно услышать ваши мнения, замечания, дополнения в комментариях.
Loading ...
хорошая тема, сам пользуюсь роботами — доволен результами. удивляет тот факт, что они оч слабо развиты
ага, я тоже пользуюсь ими, у меня все отлично!!! спасибо автору!
Народ, вы жжоте, расскажите подробнее, как вы пользуетесь, например, роботами яндекса?
Скорее всего имелось ввиду использование файлов robots.txt
Вообще не понятно, зачем самому обычному сайту, который хочет и должен быть проиндексирован везде где только можно делать разные директивы указывая поименно поисковики и боты?
Вполне достаточно указать лишь:
User-agent: *
И этим все сказано.
Ну и еще в данной заметке не хватает строчки о том, что данный файл должен всегда находиться в корневой директории сайта, потому как ищется роботами только там и нигде иначе.
В данном случае этот файл должен быть здесь:
А как запретить индексировать коментарии через роботс?
Если вы внимательно смотрели статью, то в самом rodots.txt есть строка Disallow: /comments — вот вам и ответ.
полезный инструмент спасибо
Я новичок в этом деле. Очень помогли мне. Спасибо.
Почему-то у меня KB Robots.txt не работает. Подключился, заполняется, robots.txt не меняется.
Стоит стандартный файл: и не редактируется.
@Денис: Я не использовал никогда этот плагин, потому, наверное, в статье и указан еще один вариант. Зайдите через ftp и отредактируйте файл в блокноте. Там нет ничего сложного, а время на правку плагина сэкономите.
Пользуюсь вордпрессом недавно, потому с директориями знаком не очень хорошо. Спасибо большое. Буду осваивать теперь папки и то, что именно мы отключили от индексации
Та вы поотключали кучу ненужных папок, та и вебархив зачем-то, не пойму зачем
для Яши нужно еще host добавлять... ну и ссылка на сайтмап
Ой, хост есть) не заметил, обычно в конце всех директив пишут