- Альтернативна комбінація з robots.txt
- Чи означає це, що ви повинні припинити використання файла robots.txt?
Якщо ви не бажаєте, щоб деякі сторінки відображалися в пошукових індексах, файл robots.txt є універсальним інструментом.
Вона дозволяє вказати, які файли та каталоги потрібно виключити з відстеження.
Крім того, вона має дуже корисну команду, щоб вказати, де розміщується карта сайту.
Але файл robots.txt має важливий недолік, який полягає в тому, що він не дозволяє PageRank перетікати між заблокованими сторінками.
На щастя, мета теги роботів уникає цієї проблеми.
Мета роботів - це тег HTML, який використовується для надання інструкцій пошуковим системам. Як і файл robots.txt, його можна використовувати для запобігання відстеження та індексування веб-сторінки Однак є різниця.
Поки файл robots.txt вимагає, щоб пошукові системи не сканували сторінку (а отже, не індексують), мітка мета-роботів дає дозвіл сканувати сторінку, але не зберігає її у вашому індексі. Це має важливу перевагу на рівні SEO, але для того, щоб ви зрозуміли, я наведу приклад:
Припустимо, у нас є 2 сторінки, які ми не хочемо відображати в індексі Google. Один із них заблокований файлом robots.txt, а інший - тегом мета-роботів.
Ось що станеться:
- Сторінку, заблоковану файлом robots.txt, не буде відстежено, і, в принципі, вона також не буде індексована. Вміст сторінки буде невидимим пошуковою системою, включаючи посилання, які не можна дотримуватися.
- Сторінка, заблокована мета-роботами, не буде проіндексована, але вона буде відслідковуватися пошуковою системою, слідуючи посиланням на інші сторінки і передаючи значення згаданих посилань.
Беручи до уваги, що пошукові системи використовують посилання для виявлення сторінок веб-сайту, тег мета-роботів має очевидну перевагу, яка полягає в тому, що вона запобігає індексації певних сторінок, не стаючи перешкодою для пошукової системи в її задачі виявлення нових. сторінок сайту.
Це дуже добре стосується сторінок, які за своєю природою підходять для себе дубльований вміст як:
- Внутрішні результати пошуку
- Файли категорій
- Файли міток
- Файли авторів
- Файли дат
Щоб тег мета-роботів був корисним, він повинен з'являтися в HTML-коді вашої сторінки, а точніше, у розділі, розділеному тегами <head> і </ head> .
Код тега виглядає так:
<meta name = "robots" content = " VALUES ">
Де VALUES може включати:
- Index / NoIndex - вказує, чи потрібно включити вашу сторінку до індексів пошукової системи чи ні
- Follow / NoFollow - вказує, чи слід відстежувати посилання на вашій сторінці та передавати значення посилання, або ні
Крім того, ви можете включити інші значення, такі як NoODP , NoYDIR і NoArchive , але не хвилюйтеся про це на даний момент. Тепер важливі комбінації, які можуть бути зроблені з двома типами значень, про які я згадував спочатку, і які пов'язані з індексацією та відстеженням:
- Index, Follow - дозволяє індексувати та відстежувати сторінку пошуковими системами. Це комбінація за замовчуванням і та, яка передбачається, коли ви не маєте цієї мітки на ваших сторінках.
- NoIndex, Follow - уникайте індексування, але дозволяйте відстеження. Це ідеальна комбінація, коли потрібно запобігти появі сторінки в індексі пошукової системи.
- Індекс, NoFollow - дозволяє індексувати, але запобігає відстеженню. Це комбінація, яку слід використовувати, коли сторінка містить посилання, які не обов'язково підтверджують (це стосується сторінок, на яких вміст генерується користувачем).
- NoIndex, NoFollow - Уникайте індексації та відстеження. Насправді, не так багато причин для використання цієї комбінації.
Альтернативна комбінація з robots.txt
Відповідно до того, що ми бачили, яка формується парою NoIndex і Follow . Це комбінація, яка запобігає індексацію веб-сторінки в індексі пошукової системи, дозволяючи відстеження та потік посилань.
Ваш HTML-код:
<meta name = "robots" content = " noindex, follow ">
А щоб вона працювала, пам'ятайте, що вона повинна з'являтися всередині розділу, розділеного <head> і </ head> кодом вашої сторінки.
Оскільки ви, ймовірно, використовуєте CMS, вам знадобиться плагін для його налаштування. У випадку з WordPress вам буде дуже корисно:
Як альтернатива плагінам, Genesis Framework Вона дозволяє керувати роботами на рівні сторінки без установки будь-якого плагіна SEO.
Чи означає це, що ви повинні припинити використання файла robots.txt?
Ні. Файл robots.txt залишається потужний інструмент для блокування повні каталоги і всі типи файлів, розміщених на вашому сервері.
Крім того, robots.txt має перевагу над тегом мета-роботів і не потребує пошукової системи для доступу до сторінки, щоб дізнатися, чи можна її відстежувати. Це робить читання швидше, що збільшує кількість сторінок, які можна відстежувати при кожному відвідуванні.
Особисто я використовую файл роботів, щоб заблокувати все, що я не можу з тегом мета-роботів, і тегом мета-роботів для всього іншого.
Чи плануєте ви використовувати мета-роботи перед robots.txt?
Зображення Flickr Creative Commons через Solarbotics
Txt?Txt?
Txt?
