Google може да продължи да индексира нежелани URL адреси, когато robots.txt е конфигуриран неправилно или се използва за цел, която файлът не изпълнява. Джон Мюлер от Google обърна внимание на лесна за пропускане грешка в robots.txt, която може да попречи на контрола върху обхождането на сайта. Конкретният случай е свързан със спам през вътрешната търсачка […]
