Robots.txt чи noindex: як правильно керувати видимістю сторінок у Google

Перш ніж запитувати, як заблокувати Google, визначте, що саме потрібно припинити: публічний доступ, появу сторінки в пошуку чи показ окремого уривка. Оновлення документації Google від 21 жовтня зводить наявні засоби контролю в одному місці. Це корисний привід для аудиту сайту, а не свідчення нової зміни ранжування. Практичне завдання — підібрати до кожної бізнес-мети засіб, дію якого можна перевірити.

Table of Contents

Почніть із потрібного результату

Сформулюйте одне речення, яке погодить відповідальний за сторінку. Наприклад: «Клієнти можуть відкривати сторінку кампанії, але вона не має з’являтися в пошуку». Це інше завдання, ніж «Документ із цінами можуть читати лише погоджені клієнти». Третя мета — залишити сторінку доступною для пошуку, приховавши окремий уривок у пошукових фрагментах. Якщо назвати всі ці завдання блокуванням сканування, виникне зайва неоднозначність.

Запропонований нами порядок починається з визначення аудиторії, цінності пошукових переходів і наслідків небажаного розкриття. Призначте відповідального за контент до того, як розробник змінить шаблон. Якщо ніхто не може пояснити, чому URL має зникнути, спершу дослідіть проблему, а вже потім застосовуйте широкі обмеження.

Доберіть засіб до типу ресурсу

Приватні матеріали: налаштуйте автентифікацію або приберіть їх із публічного розміщення. Вилучення з пошуку не робить публічний URL конфіденційним.
Публічна сторінка без індексації: розгляньте правило noindex. Google має просканувати сторінку, щоб побачити його; заборона сканування через robots.txt може завадити прочитати правило.
Ресурс поза HTML: заголовок відповіді X-Robots-Tag може передавати інструкції щодо індексації, зокрема для PDF.
Уривок, який не слід показувати в пошуковому фрагменті: перевірте data-nosnippet та пов’язані параметри показу замість вилучення всієї сторінки.

В огляді Google також зазначено засіб керування участю всього сайту в генеративних функціях пошуку. Розглядайте це рішення окремо від публічного доступу чи індексації конкретної сторінки. Перш ніж змінювати такий параметр, погодьте очікуваний результат і перевірте пов’язану інструкцію продукту. Масштаб обмеження має відповідати масштабу бізнес-мети.

Відновлення після August Spam Update починається з вимірювання

Перевірте один URL до зміни шаблону

Оберіть типову сторінку та зафіксуйте її поточний стан, потрібне правило й очікуваний результат. Перевірте відповідь, яку отримує відвідувач без входу в систему. Для документа перевіряйте заголовки відповіді самого файла, а не лише HTML-сторінки з посиланням на нього. Далі перегляньте, що може отримати Google, за допомогою перевірки URL у Search Console.

Використайте другий URL поза межами запланованої зміни як контрольний. Перевірка має показати, що обмеження є там, де потрібне, а важлива комерційна сторінка його не успадкувала. Мовні версії та варіанти файлів перевіряйте як окремі ресурси. Успішне редагування в CMS ще не доводить, що потрібного результату досягнуто в пошуку.

Збережіть можливість скасувати рішення

Запишіть дату зміни, відповідний шаблон, відповідального та умову скасування. Спостерігайте за результатом після повторного опрацювання ресурсу Google; показ одразу після впровадження ще не є остаточним. Якщо термінова проблема полягає у відкритому доступі до приватних відомостей, спершу виправте доступ на сервері, не очікуючи зміни пошукового результату.

Для керівника SEO практичний результат — короткий реєстр обмежень: мета, ресурс, засіб контролю, докази перевірки та дата наступного перегляду. Цього достатньо, щоб зрозуміло підготувати повторний запуск кампанії. Такий реєстр також не дає зберігати застарілі заборони лише тому, що ніхто вже не пам’ятає причини їх появи.