Как использовать файл Robots.txt с WordPress

1. Виртуальный файл Robots.txt на WordPress
2. Как редактировать Robots.txt с WordPress
3. Как установить плагин WP Robots.txt
4. Улучшенный контент для вашего Robots.txt
5. Опасный файл
6. Шутка для SEO Nerds
7. Как точно настроить или синтаксис Robots.txt
8. Отключить динамическое индексирование URL
9. Скринкаст о Robots.txt для пользователей WordPress
10. Полезные ссылки
11. Заключение

Не знаете, как использовать файл robots.txt? Верьте или нет, это один из самых важных файлов с точки зрения SEO. Вам нужно использовать файл, чтобы указать, какие разделы вашего сайта должны, а какие не должны быть доступны для поисковых систем. Например, вам не нужно, чтобы каталог wp-admin сканировался и индексировался поисковыми системами, потому что он предназначен только для внутреннего использования. Robots.txt - это текстовый файл (.txt), который должен быть помещен в корневой каталог на вашем сервере, что означает, что вам нужно поместить его в ту же папку, где находятся файлы и папки вашего веб-сайта на сервере. Вы должны специально назвать это robots.txt. Иначе это не сработает.

Виртуальный файл Robots.txt на WordPress

WordPress использует виртуальный файл robots.txt. Это означает, что вы не найдете его на своем ftp-сервере, если попытаетесь получить к нему доступ для редактирования, поскольку он создается динамически каждый раз, когда пользователь посещает ваш сайт. Хотя это видно, если вы добавляете /robots.txt к URL-адресу вашего сайта, он не доступен на вашем сервере, если вы пытаетесь найти его с помощью FTP-менеджера, такого как CuteFTP, FileZilla или CyberDuck.

Как редактировать Robots.txt с WordPress

Если вы хотите иметь возможность специально редактировать файл robots.txt вручную, вы должны установить WP Robots.txt плагин , Это позволит вам редактировать ваш файл robots.txt прямо в вашей панели управления WordPress. Итак, давайте установим плагин и посмотрим, как он работает.

Как установить плагин WP Robots.txt

1. Находясь на панели инструментов WordPress, перейдите к плагинам и выберите Добавить новый.
2. Введите WP Robots.txt в поле поиска и нажмите кнопку «Плагины поиска».
3. Найдя плагин, просто нажмите на ссылку «Установить сейчас». Теперь у вас должно быть всплывающее окно, которое дважды проверяет, действительно ли вы хотите установить плагин. Просто нажмите ОК.
4. Теперь нажмите «Активировать плагин».
5. На этом этапе вы можете просто развернуть раскрывающееся меню «Настройки» и выбрать «Чтение».
6. Теперь просто найдите текстовое поле Robots.txt Content. Поле содержит содержимое вашего фактического файла Robots.txt.

Содержание вашего файла WordPress Robots.txt

По умолчанию у вас должен быть похожий контент:

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes /

Итак, приведенный выше код просто запрещает всем сканерам просматривать каталоги / wp-admin / и / wp-includes / на вашем сервере.

Улучшенный контент для вашего Robots.txt

Хотя настройки по умолчанию также работоспособны, лучше всего оптимизировать их в WordPress, чтобы ваш файл robots.txt выглядел следующим образом:

User-agent: * Disallow: / feed / Disallow: / trackback / Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Disallow: / wp- Разрешить: / wp-content / uploads / Карта сайта: http://example.com/sitemap.xml

Первая строка показывает, какого именно робота или робота вы хотите выбрать. * Означает, что вы нацелены на всех роботов. Другими словами, вы говорите: «Эй, все, что вы ищите роботов, действуйте следующим образом».

В качестве альтернативы вы можете указать на определенные сканеры, такие как Googlebot, Rogerbot и т. Д. Вы хотите сделать это, если звездочка * не по какой-либо причине не нацелена на определенный сканер.

У меня лично была такая проблема с Роберботом. Вам также может потребоваться указать это явно. Так, вместо:

Пользователь-агент: *

Вы могли бы предназначаться для Moz Rogerbot конкретно:

Пользователь-агент: Rogerbot

Большая часть приведенного выше кода просто запрещает доступ к указанным каталогам (/ trackback /, / wp-admin / и т. Д.), Поскольку содержимое этих каталогов не представляет интереса ни для посетителей вашего сайта, ни для поисковых систем.

Disallow: / feed / Disallow: / trackback / Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Disallow: / wp-

Поскольку вы хотите иметь возможность ранжировать в поисковых системах содержимое, находящееся в каталоге загрузки (например, изображения и тому подобное), строка со второй по последнюю позволяет получить доступ к каталогу / wp-content / uploads /.

Разрешить: / wp-content / uploads /

И последняя строка просто указывает на местоположение вашего файла sitemap.xml, которое Google и другие поисковые системы используют для правильного сканирования вашего сайта.

Карта сайта: http://example.com/sitemap.xml

Опасный файл

Неправильная настройка вашего файла robots.txt может привести к тому, что он будет полностью невидим для поисковых систем. Худшая конфигурация будет выглядеть следующим образом:

Disallow: /

Код выше запрещает доступ ко всем вашим сайтам. Таким образом, поисковые системы ничего не будут индексировать. Просто помните, что вам не нужно это правило в вашем файле robots.txt.

Шутка для SEO Nerds

Взгляните на эту SEO-всезнайку. Понял? Это действительно здорово! 🙂

Этот птенец запрещает парню все Эта шутка может помочь вам лучше понять, как disallow: / работает. Хорошо, давайте двигаться дальше.

Как точно настроить или синтаксис Robots.txt

Если вы хотите точно настроить параметры файла robots.txt, вам может потребоваться узнать следующее.

Чтобы указать целевой каталог, просто заключите его имя в косую черту. например / wp-content /.

Disallow: / wp-content /

Чтобы указать целевой файл, вам просто нужно указать путь к этому файлу вместе с его именем:

Disallow: /wp-content/your-file.php

Вы можете указать таким образом на все виды файлов:

Disallow: /wp-content/your-file.html Disallow: /wp-content/your-file.png Disallow: /wp-content/your-file.jpeg Disallow: /wp-content/your-file.css

Отключить динамическое индексирование URL

Скорее всего, вы наткнетесь на эту действительно распространенную проблему. Возможно, вам придется отключить динамическое индексирование URL. Динамический URL - это тот, который содержит? вопросительный знак. Такие URL-адреса могут вызывать всевозможные проблемы с SEO (дублированный контент, дублированный заголовок страницы и т. Д.), И вы хотите отключить поисковые системы от индексации страниц с такими URL-адресами. Вы можете легко сделать это с помощью robots.txt. Просто добавьте следующую строку:

Disallow: / *?

Скринкаст о Robots.txt для пользователей WordPress

Этот скринкаст является примером курса SEO, над которым я сейчас работаю. Курс называется SEO Crash Course для пользователей WordPress. Если вы хотите быть в курсе, когда он будет запущен, обязательно подпишитесь на мою рассылку в конце поста.

Полезные ссылки

Robots.txt: полное руководство

Заключение

Вы просто не можете называть себя SEO или онлайн-маркетологом, если вам не нравится файл robots.txt, потому что он определяет, как поисковые системы видят ваш сайт. Обязательно отредактируйте файл robots.txt, только если вы знаете, что делаете. В противном случае ваш сайт может просто исчезнуть из Интернета, и вы даже не узнаете почему.

Есть много плагинов WordPress, которые позволяют обрабатывать ваш файл robots.txt. Знаете ли вы, что работает лучше, чем плагин WP Robots.txt, который я рассмотрел в этом посте?