Screaming Frog SEO Spider - звір в технічному аудиті сайту

1. інтерфейс
2. інші можливості
3. налаштування
4. Що конкретно все це дає?

Зміст статті

Серед «павуків», скануючих сайти і використовуються для їх експрес-аудиту, найбільш відомі PageWeight, Netpeak Spider і Screaming Frog SEO Spider. У минулому також був популярний XENU, яким багато хто до цих пір користуються за звичкою. Треба сказати, що зв'язки Netpeak Spider і Screaming Frog досить для виконання більшості завдань. «Кричуща жаба» - програма платна, є і безкоштовна урізана версія, яка сканує обмежена кількість сторінок, але ні в якому разі не качайте з російських торрентів крякнутий версію з кейгеном. Її знайти нескладно, але вам не можна цього робити, треба платити 100 фунтів розробникам! Простіше кажучи, вам не варто качати її з рутрекере, і вводити через License - Enter License Key згенерований ключ (Username необов'язково). Це все не можна, і я так не робив, ось тобі хрест. Незручно те, що важко русифікувати цю програмку - все ж програми на мові Пушкіна і Шуфутинського інтуїтивно більш зрозумілі. На перший погляд, в Screaming Frog нічого особливого, проте його функціонал дозволяє домогтися досить багато чого.

інтерфейс

Отже, все починається з поля «Enter URL to spider», куди вводиться назва сайту та тулиться кнопка «Start».

Ясна річ, що вона запускає сканування сайту, а коли воно завершиться, ми можемо приступати до аналізу. І тут ми відразу отримуємо перші мінуси в порівнянні з PageWeight - не можна задати локальний (тобто свій) Роботс. В принципі, виключити розділи з сканування можна через Configuration - Exclude, але це вже не так зручно. Втім, познайомимося з інтерфейсом і можливостями програми.
Спочатку може ввести в ступор, що в списку сторінок буде купа зображень, але їх можна моментально відсікти - або вибравши фільтр HTML (до речі кнопка Export відповідає за експорт поточних результатів з головного вікна в Excel, можна навіть в xlsx):

Або переключившись на HTML в сайдбарі, обидва варіанти залишать в основному вікні програми тільки власне HTML сторінки:

В останній версії (3.0 на момент написання статті) з'явилася можливість вибудувати структуру сайту. Таким чином можна, наприклад, вивчити структуру конкурентів перед створенням свого сайту.

Зауважте, що у кожної вкладки програми є свої власні фільтри. Ви можете вибрати, наприклад, тільки сторінки, що віддають 301 редирект і вивантажити їх у Excel. На вкладці URI ви можете вибрати урли, чия довжина більше 115 символів, урли з нижнім підкресленням замість дефіса (фільтр Underscores), дублі сторінок (Duplicate), урли з параметрами (Dynamic). На вкладці Title - вибрати ті тайтли, чия довжина більше 65 символів або менше 30, що збігаються з H1 на сторінці, відсутні. На вкладці Images - все зображення більше 100 кілобайт, без тега alt. Ну і так далі.

Стовпці в основному вікні переміщаються за принципом Drag and Drop, так що можна перемістити найбільш важливі з них ближче до лівої частини вікна і зберегти настройки через File - Default Config - Save Current.
При натисканні на назву стовпчика відбувається сортування. Серед стовпців є не зовсім звичайні:

• Title 1 Lenght - довжина Title
• Title 1 Pixel Width - ширина Title в пікселях
• Level - це рівень вкладеності.
• Word Сount - кількість слів між тегами body.
• Size - вага сторінки в байтах.
• Inlinks - кількість внутрішніх посилань на сторінку.
• Outlinks - кількість внутрішніх посилань зі сторінки.
• External Outlinks - кількість зовнішніх посилань зі сторінки. Посперечайтеся з пацанами, хто вгадає, яку найбільшу кількість посилань зі сторінки розміщує той чи інший сапу-сайт. Якщо один вгадає, а другий ні - то другий купує посилання на свій сайт з цієї сторінки.
• Response Time - час завантаження сторінки.

Також внизу є вікно з більш детальною інформацією про сторінку. Так, SERP Snippet показує, як, за оцінкою програми, буде виглядати сниппет в Google. Корисно, якщо ви морочитися, щоб Title у видачі виглядав клікабельно.

Коли у вікні натискаєте правою кнопкою миші на рядок потрібного урла, відкривається контекстне меню, з якого найбільш важливим пунктом є Open in Browser - відкрити в браузері.

Також зручно буде виділити з допомогою shift частина урлов і видалити їх через Remove. Чи не з сайту, звичайно, а з результатів сканування. А то б я давно з пари сайтів деяких чортів урли б поудалял ...

Також за допомогою контекстного меню можна перевірити наявність сторінки в індексі Гугла, Яху і Бінга, подивитися беклінки через сервіси типу Majestic SEO або Ahrefs, відкрити кеш Гугла або знайти сторінку в Вебархіве. Ну ще Роботс глянути і перевірити код сторінки на наявність помилок. Контекстне меню на всіх вкладках однакове.

інші можливості

Через вкладку Sitemaps можна створити свій sitemap.xml - зручно для роботи з сайтом, де у вас немає можливості встановити плагін для автоматичної генерації сайтмапа.

Є можливість вивантажити всі тексти анкоров з сайту в Excel.

Нарешті, є можливість просканувати тільки урли зі свого списку. Це потрібно, коли є список просуваються сторінок і хочеться перевірити тільки їх.

Список можна завантажити з файлу (можна навіть з sitemap.xml) або вручну.

Нарешті, одна з найкрутіших функцій програми - можливість задати свої директиви при скануванні. Тиснете Configuration - Custom, і там задаєте настройки при скануванні Contains (Містить) або Does Not Contain (Не містить), куди вписуєте потрібні значення.

Screaming Frog шукає за кодом. Так ви можете, наприклад, знайти всі теги strong на сайті або стоп-слова. Жаба розуміє роздільник, і ви можете знайти на сайті, припустимо, нецензурну лайку ось таким чином:

Я це не вручну вводив, а через Ctrl + V, не переживайте. Далі ви можете фантазувати (і я не про стоп-слова, ці фантазії до справи не відносяться) - наприклад, шукати ключові слова по сторінках сайту, вираховуючи загальна кількість входжень по сайту, або, може бути, щось інше. Так, результати відображаються у вкладці Custom, кількість входжень - в стовпці Occurences.

налаштування

Я вирішив не починати статтю з налаштувань - краще спочатку звикнути до інтерфейсу, а потім вже підлаштовувати програму під себе, так легше піде. Як пивасик під воблу. Коротше, в Configuration - Spider треба виставити для початку Respect Noindex і Respect Canonical. Також краще зняти галочку з Pause On High Memory Usage.

Ну і далі вони зберігаються в File - Default Config - Save current.
А якщо не подобається стандартний дизайн Screaming Frog, то можна його можна поміняти на більш нейтральний через Configuration - User Interface - Enable Windows Look and Feel.

Що конкретно все це дає?

Це все звичайно добре, але як застосовувати весь цей арсенал на практиці? На бложіках пишуть обзорчік типу «ой, а тут у нас ось тайтли відображаються ... ой, а тут дескріпшен ось вважається ...» Ну і? Що це дає? Ось конкретні 9 профітів від Screaming Frog:

1. 404 помилки і редіректи. Знаходимо через Жабу і виправляємо.
2. Дублі сторінок (за однаковими Title). Знаходимо і видаляємо.
3. Порожні, короткі і довгі Title. Знаходимо, заповнюємо, доповнюємо, правимо.
4. Сторінки з недостатнім рівнем вкладеності. Вивантажуємо в Excel, в стовпець з урламі вставляємо список просуваються сторінок, виділяємо повторювані значення. Дивимося, у яких просуваються сторінок УВ Не 1, не 2, і не 3 і працюємо з цією проблемою.
5. Довжина урлов. Знаходимо довгі урли, скорочуємо, проставляємо редіректи зі старих.
6. «Порожні» сторінки. За даними з шпальти Word Count обчислюємо сторінки, де контенту менше, ніж в середньому (або просто мало), і або їх закриваємо через Роботс, або видаляємо, або наповнюємо.
7. Найповільніші сторінки. Дивимося по стовпцю Response Time.
8. Зовнішні посилання. Видаляємо або взагалі все, або биті, які 404 віддають.
9. Збігаються Title і H1. Знаходимо, правимо.
10. Теги <strong>, <b>, <br> і так далі. Screaming Frog дозволяє знайти всі сторінки на сайті, де використовуються ці теги.

Це з важливого. Про баловство начебто клікабельно виду Title у видачі або порожніх description я тут промовчу.

Є ще один недолік перед PageWeight - програма не вважає вага сторінок. Але тут вже виручить Netpeak Spider - він вміє.