- Как WordPress обрабатывает файл robots.txt
- Robots.txt для стандарта WordPress
- Robots.txt для WordPress по умолчанию, чтобы избежать видимости в поисковых системах
- Robots.txt для WordPress по мнению некоторых авторитетов
- WordPress.com
- Ma.tt
- Yoast
- Robots.txt для WordPress по инициативе WordPress Страхование
Как WordPress обрабатывает файл robots.txt и ботов в вопросах SEO и безопасности. Узнайте подробности и установите robots.txt для WordPress.
Я стал верить и поощрять использование некоторых инструкций по безопасности в файле robots.txt для WordPress , чтобы усложнить жизнь хакерам, использующим методы взлома Google.
Недавно Google Search Console выпустил серию электронных писем, предупреждающих администраторов сайта о неспособности робота Google получить доступ к файлам CSS и JS.
Предупреждение на самом деле старое. В 2012 году Мэтт Каттс высказался по этому вопросу, заявив, что робот Googlebot достаточно умен, чтобы обрабатывать файлы CSS и JS и понимать ваш сайт в целом, а не только тексты. Поисковая система, помимо заботы об актуальности, обращает внимание на пользовательский опыт и привилегии этого.
Самая популярная CMS сегодня имеет последовательный подход к поисковым системам в SEO и Security по умолчанию. Более глубокое знакомство с этими дискуссиями и изучение этой темы заставили меня согласовать свои Подумайте с Yoast о простоте и практичности robots.txt ,
Как WordPress обрабатывает файл robots.txt
Когда ваша первая публикация публикуется, WordPress создает виртуальный файл robots.txt, то есть этот файл не существует физически в корне вашего сайта. WordPress обнаруживает доступ, поступающий от бота, и, если это так, он имитирует существование файла с инструкциями. Если вы используете физический файл, WP перестает предлагать виртуальный.
Robots.txt для стандарта WordPress
По умолчанию используется следующий оператор:
Пользовательский агент: * Disallow: / wp-admin /
Robots.txt для WordPress по умолчанию, чтобы избежать видимости в поисковых системах
Если вы выберете опцию « Запретить поисковым системам индексировать этот сайт » через «Настройки чтения», инструкция, используемая в файле robots.txt, будет такой:
Пользователь-агент: * Disallow: /
Robots.txt для WordPress по мнению некоторых авторитетов
WordPress.org
Disallow: /extend/themes/search.php Disallow: /extend/plugins/search.php Disallow: /plugins/search.php Disallow: /extend/themes/search.php Disallow: / themes / search.php Disallow: / support / rss Disallow: / архив /
WordPress.com
Пользовательский агент: IRLbot Задержка сканирования: 3600 Пользовательский агент: * Запретить: / следующий / Пользовательский агент: * Запретить: / mshots / v1 / * Disallow: / wp-admin / User-agent: * Disallow: / activ / User-agent: * Disallow: /public.api/ # MT беженцев User-
Ma.tt
User-agent: * Disallow: User-agent: Mediapartners-Google * Disallow: User-agent: * Disallow: / dropbox Disallow: / contact Disallow: /blog/wp-login.php Disallow: / blog / wp-admin
Yoast
Пользователь-агент: * Disallow: / out /
Yoast имеет упрощенную версию и не позволяет поисковым системам сканировать вашу партнерскую область. WordPress.org и WordPress.com имеют определенные политики для своего бизнеса, как и Мэтт.
Robots.txt для WordPress по инициативе WordPress Страхование
Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Disallow: / wp
Как фактор безопасность для WordPress Мы рекомендуем вам принять вышеуказанные политики в файле robots.txt. Тем не менее, это предотвращает доступ Googlebot к файлам CSS и JS. Файлы тем и плагинов вложены в папку / wp-content /, а собственные библиотеки платформы в / wp-includes /.
В выпуске второй версии руководства мы не советуем использовать эти директивы и предлагаем использовать директивы для конкретных случаев в соответствии со спецификой их применения. И с этим невозможно иметь код по умолчанию.
WordPress по умолчанию использовал метатег и HTTP-заголовок X-Robots-Tag препятствовать поисковым системам на страницах wp-login.php и во всех AJAX-запросах по адресу /wp-admin/admin-ajax.php.
Какие политики безопасности вы сделали в файле robots.txt для WordPress?
Txt для WordPress?
