- Alternatywna kombinacja do robots.txt
- Czy to oznacza, że powinieneś przestać korzystać z robots.txt?
Jeśli nie chcesz, aby niektóre strony pojawiały się w indeksach wyszukiwania, plik robots.txt jest wszechstronnym narzędziem.
Pozwala wskazać, które pliki i katalogi chcesz wykluczyć ze śledzenia.
Ponadto ma bardzo przydatne polecenie wskazujące, gdzie znajduje się mapa witryny.
Jednak plik robots.txt ma ważną wadę, ponieważ nie pozwala na PageRank przepływ między zablokowanymi stronami.
Na szczęście tag meta robotów unika tego problemu.
Meta roboty to tag HTML, który służy do wydawania instrukcji dla wyszukiwarek. Podobnie jak plik robots.txt, można go użyć do zapobiegania śledzeniu i indeksowanie strony internetowej Istnieje jednak różnica.
Podczas gdy plik robots.txt prosi wyszukiwarki, aby nie indeksowały strony (a zatem nie indeksu), etykieta robotów meta zezwala na indeksowanie strony, ale nie zapisuje jej w indeksie. Ma to ważną zaletę na poziomie SEO, ale abyś zrozumiał, dam ci przykład:
Załóżmy, że mamy 2 strony, których nie chcemy wyświetlać w indeksie Google. Jeden jest blokowany przez plik robots.txt, a drugi przez tag meta robots.
Oto co się stanie:
- Strona zablokowana za pomocą pliku robots.txt nie będzie śledzona i zasadniczo nie będzie indeksowana. Zawartość strony będzie niewidoczna dla wyszukiwarki, łącznie z linkami, których nie można śledzić.
- Strona zablokowana za pomocą robotów meta nie będzie indeksowana, ale będzie śledzona przez wyszukiwarkę, podążając za linkami do innych stron i przesyłając wartość wspomnianych linków.
Biorąc pod uwagę, że wyszukiwarki używają linków do odkrywania stron witryny, tag meta robots ma oczywistą przewagę, która polega na tym, że uniemożliwia indeksowanie niektórych stron, nie stając się przeszkodą dla wyszukiwarki w znalezieniu nowych. strony na stronie.
Odnosi się to bardzo dobrze do stron, które ze swej natury nadają się do tego duplikat treści jak:
- Wewnętrzne wyniki wyszukiwania
- Pliki kategorii
- Pliki etykiet
- Pliki autora
- Pliki daty
Aby tag meta robotów był użyteczny, musi pojawić się w kodzie HTML strony, a dokładniej w sekcji ograniczonej tagami <head> i </ head> .
Kod tagu wygląda tak:
<meta name = „roboty” content = „ VALUES ”>
Gdzie WARTOŚCI mogą obejmować:
- Indeks / NoIndex - Wskazuje, czy Twoja strona powinna być uwzględniona w indeksach wyszukiwarki, czy nie
- Follow / NoFollow - Wskazuje, czy linki na stronie powinny być śledzone i przekazywać wartość linku, czy nie
Dodatkowo możesz dołączyć inne wartości, takie jak NoODP , NoYDIR i NoArchive , ale nie martw się o to w tej chwili. Liczą się teraz kombinacje, które można wykonać z dwoma typami wartości, o których wspomniałem wcześniej i które dotyczą indeksowania i śledzenia:
- Indeks, Śledź - Umożliwia indeksowanie i śledzenie strony przez wyszukiwarki. Jest to domyślna kombinacja i ta, która ma się pojawić, gdy brakuje ci etykiety na swoich stronach.
- NoIndex, Follow - Unikaj indeksowania, ale zezwalaj na śledzenie. Jest to idealna kombinacja, gdy chcesz zapobiec wyświetlaniu strony w indeksie wyszukiwarki.
- Indeks, NoFollow - umożliwia indeksowanie, ale zapobiega śledzeniu. Jest to kombinacja, której powinieneś użyć, gdy strona zawiera linki, które niekoniecznie popierasz (tak jest w przypadku stron, na których treść jest generowana przez użytkownika).
- NoIndex, NoFollow - Unikaj indeksowania i śledzenia. Właściwie nie ma wielu powodów, aby używać tej kombinacji.
Alternatywna kombinacja do robots.txt
Zgodnie z tym, co widzieliśmy, który tworzy para NoIndex i Follow . Jest to kombinacja, która uniemożliwia indeksowanie strony internetowej w indeksie wyszukiwarki, umożliwiając jednocześnie śledzenie i przepływ linków.
Twój kod HTML to:
<meta name = "roboty" content = " noindex, follow ">
Aby to działało, pamiętaj, że powinien pojawić się w sekcji ograniczonej przez <head> i </ head> w kodzie strony.
Ponieważ prawdopodobnie używasz CMS, będziesz potrzebował wtyczki do jego konfiguracji. W przypadku WordPressa będziesz bardzo pomocny:
Jako alternatywa dla wtyczek Genesis Framework Pozwala kontrolować roboty na poziomie strony bez instalowania wtyczki SEO.
Czy to oznacza, że powinieneś przestać korzystać z robots.txt?
Nie ma mowy. Plik robots.txt jest nadal aktywny potężne narzędzie do blokowania kompletne katalogi i wszystkie typy plików hostowanych na twoim serwerze.
Ponadto robots.txt ma przewagę nad tagiem meta robotów i nie potrzebuje wyszukiwarki, aby uzyskać dostęp do strony, aby wiedzieć, czy można ją śledzić. Dzięki temu czytanie jest szybsze, co zwiększa liczbę stron, które można śledzić podczas każdej wizyty.
Osobiście używam pliku robotów do blokowania wszystkiego, czego nie mogę za pomocą meta-robota, a meta-robota oznacza wszystko inne.
Czy zamierzasz używać robotów meta przed robots.txt?
Flickr Creative Commons image via Solarbotyki
Txt?Txt?
Txt?
