Смотреть обучающее видео Уроки WordPress - правильный файл robots.txt WordPress для Яндекса и Google.

11/27/16 48 0 0 0

Краткое описание к видео: Уроки WordPress - правильный файл robots.txt WordPress для Яндекса и Google Больше видео в категории: Оптимизация сайтов

Правильный файл robots.txt WordPress для Яндекса и Google http://www.azoogle.ru/robots-txt-wordpress/ В этом видео вы узнаете как контролировать индексирование вашего сайта поисковыми системами с помощью файла robots.txt. Плюс в качестве примера мы разберем robots.txt для WordPress, который минимизирует индексирование ненужных файлов поисковыми системами. Итак, приступим. Файл robots.txt -- это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции запрещающие посещение и индексирование отдельных разделов сайта. robots.txt -- предназначен для использования ботами, в качестве примера ботов -- можно назвать поисковых роботов Яндекса и Google или ботов архиваторов, как например робот Web Archive. Для создания robots.txt воспользуйтесь любым текстовым редактором, заполните его в соответствии с вашими пожеланиями и примерами в этом видео и сохраните как просто тест без форматирования, расширение файла должно быть .txt. После этого необходимо загрузить файл в корневой каталог вашего сайта. Используйте файл robots.txt для ограничения поисковых роботов от индексации отдельных разделов вашего сайта, вы можете указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности, используя директиву User-Agent. Для списка роботов популярных поисковых систем перейдите по ссылке в описании этого видео. В качестве примера robots.txt для WordPress, который минимизирует индексирование ненужных файлов поисковыми системами вы можете использовать следующий шаблон: User-Agent: * Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-admin/ Disallow: /*.swf Disallow: /*.flv Disallow: /*.pdf Disallow: /*.doc Disallow: /*.exe Disallow: /*.js Disallow: /*.htm Disallow: /*.html Disallow: /*.zip Allow: / Давайте разберем по порядку, что здесь написано. Строчка User-Agent: * говорит, что это относится к любым агентам, к любым поисковым системам, к любым ботам которые посещают сайт. Строчки начинающиеся с Disallow: - это директивы, запрещающие индексирование какой-либо части сайта. Например, строчка Disallow: /wp-admin/ запрещает индексирование папки /wp-admin/, любых файлов, которые находятся в папке /wp-admin/. Сейчас у нас запрещены к индексированию папки -- плагины, темы и wp-admin (/plugins/ /themes/ /wp-admin/). Директива Disallow: /*. и расширение файла запрещает к индексированию определенный тип файлов. В данный момент запрещены к индексированию .swf, *.flv, *.pdf, *.doc, *.exe, *.js, *.htm, *.html, *.zip. Последняя строчка Allow: / разрешает индексирование любых других частей сайта и любых других файлов. Если вы используете плагин кеширования, который генерирует статичные версии ваших страниц или структуру постоянных ссылок, оканчивающуюся .htm/.html, уберите строчки Disallow: /*.htm Disallow: /*.html http://www.youtube.com/watch?v=tGfrHDnBOuE

Комментарии (0)

    Ничего не найдено.