Robots.txt для блога на WordPress
Без сомнения, делая любой интернет проект, нужно всегда думать о поисковой оптимизации. И хотя основные ее этапы и процедуры, в принципе стандартны, каждый вебмастер подходит к этому индивидуально. Этим люди и отличаются от роботов. Кстати о robots (роботах), вот для них то, как раз результаты вашей работы начинаются стандартно – с файла robots.txt
Файл robots.txt может оказать огромное влияние на индексацию Вашего блога или сайта и продвижение в поисковиках.
Желательно, перед добавлением вашего детища в поисковики сделать универсальный файл robots.txt, который поможет вашему блогу и поисковику лучше понять друг друга.
Для создания такого файла лично мне понадобился блокнот и Google. Те же, кому лень открывать блокнот, могут установить плагин KB Robots.txt, и непосредственно в «Панели администрировании» -> «Опции» -> «KB Robots.txt», могут легко менять содержание файла robots.txt Вашего блога.
В общем, прогуглив эту тему я создал файл, на мой взгляд ориентированный на два наиболее авторитетных поисковика: для Рунета – Яндекс, для всего – Google. Читать полностью





