Comments on: Robots.txt для блога на WordPress http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/ web-мастер - это тот, кто принимает решения... Mon, 30 Jan 2012 20:05:00 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: Альберт Аухадуллин http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-2521 Альберт Аухадуллин Sat, 08 Oct 2011 20:25:14 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-2521 Спасибо. воспользуюсь Вашим советам. С уважением Альберт Аухадуллин. Спасибо. воспользуюсь Вашим советам. С уважением Альберт Аухадуллин.

]]> By: Hiway http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-2502 Hiway Mon, 19 Sep 2011 19:13:39 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-2502 <a href="comment-#2501" rel="nofollow">Альберт Аухадуллин</a> - строку Disallow: /archives/ прописывать надо, так как она скрывает архивные страницы и не дает дублировать контент. А ошиббку как таковую проще заметить с инструментами для проверки роботовских фалов от Яндекса или Google Альберт Аухадуллин — строку Disallow: /archives/ прописывать надо, так как она скрывает архивные страницы и не дает дублировать контент. А ошиббку как таковую проще заметить с инструментами для проверки роботовских фалов от Яндекса или Google

]]> By: Альберт Аухадуллин http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-2501 Альберт Аухадуллин Sun, 18 Sep 2011 05:03:42 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-2501 User-agent: * Disallow: /archives/ Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /category Disallow: /comments Disallow: /search/ Disallow: /xmlrpc.php Disallow: /cgi-bin Disallow: /tag/ Disallow: /wp-admin User-agent: Yandex Disallow: /archives/ Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /category Disallow: /comments Disallow: /search/ Disallow: /xmlrpc.php Disallow: /cgi-bin Disallow: /tag/ Disallow: /wp-admin Host: www . rtiivaz . ru - Срока хост нормальная, просто я скрыл ссылку (Hiway) Скажите где у меня Robots.txt ошибка? И надо ли прописывать эту страку: Disallow: /archives/ User-agent: *

Disallow: /archives/

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /category

Disallow: /comments

Disallow: /search/

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /tag/

Disallow: /wp-admin

User-agent: Yandex

Disallow: /archives/

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /category

Disallow: /comments

Disallow: /search/

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /tag/

Disallow: /wp-admin

Host: www . rtiivaz . ru — Срока хост нормальная, просто я скрыл ссылку (Hiway)

Скажите где у меня Robots.txt ошибка? И надо ли прописывать эту страку: Disallow: /archives/

]]> By: vitaliy http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-1758 vitaliy Mon, 06 Dec 2010 17:54:54 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-1758 Спасибо за статью, значительно помогла в понимании формирования файла для роботов. Особенно для меня это сейчас актуально, так как Гугл уже начал индексировать ненужные страницы. Еще раз спасибо!!! Спасибо за статью, значительно помогла в понимании формирования файла для роботов. Особенно для меня это сейчас актуально, так как Гугл уже начал индексировать ненужные страницы. Еще раз спасибо!!!

]]> By: Tod http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-1149 Tod Thu, 28 Jan 2010 13:38:06 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-1149 Ой, хост есть) не заметил, обычно в конце всех директив пишут Ой, хост есть) не заметил, обычно в конце всех директив пишут

]]> By: Tod http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-1148 Tod Thu, 28 Jan 2010 13:35:22 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-1148 для Яши нужно еще host добавлять.. ну и ссылка на сайтмап для Яши нужно еще host добавлять... ну и ссылка на сайтмап

]]> By: ZavRab http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-1020 ZavRab Fri, 16 Oct 2009 07:51:24 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-1020 Та вы поотключали кучу ненужных папок, та и вебархив зачем-то, не пойму зачем Та вы поотключали кучу ненужных папок, та и вебархив зачем-то, не пойму зачем

]]> By: Ходзинский Александр http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-876 Ходзинский Александр Wed, 01 Jul 2009 19:15:48 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-876 Пользуюсь вордпрессом недавно, потому с директориями знаком не очень хорошо. Спасибо большое. Буду осваивать теперь папки и то, что именно мы отключили от индексации Пользуюсь вордпрессом недавно, потому с директориями знаком не очень хорошо. Спасибо большое. Буду осваивать теперь папки и то, что именно мы отключили от индексации

]]> By: Hiway http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-827 Hiway Thu, 21 May 2009 07:25:55 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-827 @Денис: Я не использовал никогда этот плагин, потому, наверное, в статье и указан еще один вариант. Зайдите через ftp и отредактируйте файл в блокноте. Там нет ничего сложного, а время на правку плагина сэкономите. @Денис: Я не использовал никогда этот плагин, потому, наверное, в статье и указан еще один вариант. Зайдите через ftp и отредактируйте файл в блокноте. Там нет ничего сложного, а время на правку плагина сэкономите.

]]> By: Денис http://www.master-web.info/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/comment-page-1/#comment-826 Денис Thu, 21 May 2009 06:42:08 +0000 http://www.master-web.info/2008/01/27/robotstxt-%d0%b4%d0%bb%d1%8f-%d0%b1%d0%bb%d0%be%d0%b3%d0%b0-%d0%bd%d0%b0-wordpress/#comment-826 Стоит стандартный файл: http://www.visitbaikal.ru/robots.txt и не редактируется. Стоит стандартный файл: www.visitbaikal.ru/robots.txt и не редактируется.

]]>