Google може да продължи да индексира нежелани URL адреси, когато robots.txt е конфигуриран неправилно или се използва за цел, която файлът не изпълнява.
Джон Мюлер от Google обърна внимание на лесна за пропускане грешка в robots.txt, която може да попречи на контрола върху обхождането на сайта. Конкретният случай е свързан със спам през вътрешната търсачка на Shopify магазин, но същият проблем може да възникне при всяка платформа.
Важно уточнение е, че Google всъщност не „игнорира“ robots.txt. В разглеждания случай търсачката прилага по-специфично правило за Googlebot. Освен това robots.txt контролира обхождането, но не гарантира премахване на URL адресите от индекса.
Как работи спамът през вътрешната търсачка
При този тип атака спамерите изпращат заявки през полето за търсене на сайта. Заявките съдържат думи от спам ниша, имена на сайтове или URL адреси.
Вътрешната търсачка генерира отделен адрес за резултатите, например URL от директорията /search. Ако страницата показва въведената заявка, спамерът може да създаде множество адреси с нежелан текст, които впоследствие да бъдат открити от Google.
Собствениците на сайтове често реагират, като забраняват обхождането на /search чрез robots.txt. Това обаче не е достатъчно, за да се гарантира, че съответните URL адреси няма да се показват в резултатите от търсенето.
Google изрично посочва, че robots.txt е предназначен основно за управление на трафика от роботите. Ако блокиран URL е открит чрез външна или вътрешна връзка, адресът му все пак може да бъде включен в индекса, без Google да е обходил съдържанието на страницата.
Защо забраната за /search не е била приложена
В разгледания случай клиент на SEO специалист използвал Shopify магазин, чиито резултати от търсенето генерирали спам страници. В robots.txt имало забрана за директорията /search, но нежеланите адреси продължавали да присъстват в Google.
При отваряне те пренасочвали потребителя към друга категория в магазина. Затова специалистът попитал дали вместо пренасочване страниците трябва да връщат код 404:
„Работя по Shopify магазин на клиент, в който сме добавили
/searchкато забранена директория в robots.txt, но тези резултати от търсенето все още са индексирани в Google.Ако се опитам да отворя някоя от страниците, тя пренасочва към друга страница с колекция в магазина. Трябва ли вместо това да показваме страница 404? Какъв е най-лесният начин да решим проблема?“
Джон Мюлер проверил robots.txt на сайт с подобни индексирани адреси и установил отделна група от правила за Googlebot, както и по-голяма група за всички роботи, означена с User-agent: *.
Мюлер обяснява:
„При robots.txt по-специфичните правила имат предимство. Ако имате секция
User-agent: Googlebot, той ще използва само нея. Ако искате да приложите и всички правила от секциятаUser-agent: *, трябва да ги копирате.“
Това означава, че забраната за /search, поставена само в общата група, може да не бъде приложена към Googlebot, когато във файла съществува отделна група, предназначена специално за него.
Специфичната група за Googlebot има предимство
Примерна проблемна структура би изглеждала така:
User-agent: Googlebot
Disallow: /private/
User-agent: *
Disallow: /search
В тази конфигурация Googlebot използва предназначената за него група. Забраната за /search от общата група не се добавя автоматично към правилата за Googlebot.
Ако и двете ограничения трябва да важат за него, те трябва да присъстват в съответната група:
User-agent: Googlebot
Disallow: /private/
Disallow: /search
Друга възможност е няколко робота, за които важат еднакви ограничения, да бъдат изброени последователно в обща група:
User-agent: Googlebot
User-agent: Otherbot
Disallow: /search
Disallow: /private/
Това поведение позволява на собствениците на сайтове да задават различни правила за отделните роботи. Рискът е, че при по-сложен robots.txt лесно може да се предположи погрешно, че правилата от User-agent: * се наследяват от всички специфични групи.
Robots.txt не е инструмент за предотвратяване на индексирането
Основният проблем в случая не е само структурата на файла. Използван е неподходящ механизъм за преследваната цел.
Robots.txt управлява кои адреси могат да бъдат обходени. Той не е надежден начин за изключване на HTML страници от резултатите на Google.
За предотвратяване на индексирането Google препоръчва директива noindex. Страницата обаче трябва да остане достъпна за Googlebot, за да може роботът да я обходи и да прочете директивата. Ако URL адресът едновременно е блокиран в robots.txt, Google може да не види noindex.
Практическият ред е:
- Резултатите от вътрешното търсене да бъдат достъпни за обхождане.
- Страниците да съдържат валидна директива
noindex. - Вътрешните и външните източници на спам URL адреси да бъдат ограничени.
- Вече индексираните адреси да бъдат наблюдавани чрез Google Search Console.
- Несъществуващите страници да връщат реален HTTP код 404 или 410, вместо да пренасочват всички заявки към несвързана категория.
Пренасочването на множество несъществуващи или спам адреси към една обща страница не решава непременно проблема. Ако за заявката няма действителна еквивалентна страница, коректният отговор обикновено е 404 или 410. Ако страницата съществува, но не трябва да се показва в Google, подходящият механизъм е noindex.
Ограничаване на спама в Shopify
При Shopify директивата noindex може да се добави условно към шаблона на страниците с резултати от търсенето. Така роботите получават указание тези страници да не бъдат включвани в индекса.
Необходимо е обаче да се провери конкретната тема и текущата конфигурация на магазина. Промени директно в кода на тема могат да бъдат загубени или да изискват повторно прилагане при смяна и актуализация на темата.
Критичното условие остава същото: страниците не трябва едновременно да бъдат блокирани в robots.txt, защото тогава Googlebot няма да може да прочете директивата noindex.
Ограничаване на спама в WordPress
Популярни SEO разширения като Yoast SEO, Rank Math и All in One SEO обичайно задават noindex на страниците с резултати от вътрешното търсене. Това трябва да бъде проверено в реалния изходен код, вместо да се приема, че настройката е активна във всяка инсталация и версия.
Темата, конструкторът на страници и кеширащите разширения също могат да променят поведението. Затова е важно да се провери:
- какъв HTTP статус връща адресът;
- присъства ли
noindexв получения HTML; - може ли Googlebot да обходи страницата;
- създава ли търсачката неограничен брой URL варианти;
- има ли вътрешни връзки към спам адресите;
- появяват ли се тези адреси в XML картата на сайта.
Какъв е реалният SEO риск
Наличието на подобни URL адреси не означава автоматично наказание или спад в позициите. Рискът зависи от мащаба, начина на генериране и това дали страниците показват спам съдържание.
Голям брой нискокачествени адреси могат да затруднят наблюдението на индексирането, да разходват ресурс за обхождане и да създадат нежелани резултати с името на сайта. При компрометирано съдържание са възможни и по-сериозни последици.
Най-важният извод е, че robots.txt, noindex, HTTP кодовете и пренасочванията имат различни функции. Забраната за обхождане не е равнозначна на забрана за индексиране, а специфичните групи за роботи не наследяват автоматично правилата от общата група.
- ТЕМИ:
