LLMs.txt файловете почти не се използват от реални AI системи за търсене и цитиране, показва нов анализ на Ahrefs. Компанията е анализирала логове от 137 000 домейна и е установила, че 97% от LLMs.txt файловете не са получили нито една заявка. Нито от ботове, нито от хора.
Според данните около 28% от анализираните 137 000 домейна публикуват LLMs.txt файл. Ahrefs обаче уточнява, че клиентите на компанията обикновено са по-технически ориентирани, което означава, че реалното разпространение на този формат в по-широкия уеб вероятно е по-ниско.
От приблизително 38 000 домейна с валидни LLMs.txt файлове само около 1 100 са получили някакъв трафик.
Сред файловете, които все пак са били заявени, 96% от заявките идват от ботове, като повечето не са AI ботове. Ботовете за AI извличане, свързани с ChatGPT и Perplexity, представляват едва 1% от всички заявки.
Кой всъщност отваря LLMs.txt файловете
Най-голям дял от заявките към LLMs.txt идва от SEO инструменти за одит, които формират 21% от трафика. Следват неидентифицирани ботове с 14%, уеб crawler-и като Googlebot с 13% и инструменти за технологично профилиране като BuiltWith с 11%.
AI ботовете, разделени в четири категории, съставляват общо 19% от заявките. Това ги прави най-големия сегмент като група, но разбивката не отговаря на очакванията на много поддръжници на LLMs.txt.
Кодиращи агенти са изпратили 10% от заявките, crawler-и за обучение на AI модели – 5%, а AI асистенти – едва 2%. Claude-Code и GPTBot са сред водещите индивидуални ботове.
Любопитен детайл в анализа е, че Slackbot е отварял LLMs.txt файлове по-често от PerplexityBot.
Индустрията изучава сама себе си
Докладът на Ahrefs показва, че 12% от заявките идват от инструменти, които одитират, сканират или изследват LLMs.txt файлове, вместо реално да ги използват за AI търсене или цитиране.
Инструментите за GEO и AEO готовност формират 5% от заявките. Специализираните скенери и валидатори добавят още 3%, което е повече от AI ботовете за извличане и асистентите, взети заедно. Изследователските ботове представляват 2%, като най-големият сред тях се идентифицира като crawler за проучване на prompt injection рискове.
На практика около LLMs.txt вече се оформя цяла екосистема от инструменти за оценяване, сканиране и каталогизиране на формата, преди да има ясно доказана значима аудитория, която реално го използва.
AI ботовете не търсят файлове, които не съществуват
Ahrefs е анализирала и заявки към /llms.txt адреси, които връщат 404 грешка. Данните показват, че тези несъществуващи файлове не са привлекли AI трафик.
Посещенията от хора към такива 404 адреси най-вероятно идват от потребители, които ръчно въвеждат URL адреса в браузъра си, вероятно за да проверят дали конкурентни сайтове използват LLMs.txt.
Chrome Lighthouse одитът за LLMs.txt, който през май отново разпали дебата около формата, е генерирал около 22 заявки в целия анализиран набор от данни. Това се равнява приблизително на 1 заявка на 1 000 случая.
Защо това има значение за SEO, GEO и AI видимостта
Данните на Ahrefs съвпадат с позицията, която Google Search Relations представителят Джон Мюлер изразява от повече от година. Лили Рей го попита за разминаването между скептичната позиция на Google Search и наличието на LLMs.txt одит в Chrome Lighthouse. Мюлер заяви, че LLMs.txt „не е направен за търсене“ и го определи като „временна патерица, може би за спестяване на малко токени“ при AI инструменти за писане на код.
Анализът показва, че реалната аудитория на LLMs.txt в момента са предимно кодиращи агенти и crawler-и за обучение, а не AI ботове за търсене и извличане, които биха могли да генерират видимост, цитати или трафик към сайтовете.
Това е важен сигнал за SEO и GEO специалистите. Наличието на LLMs.txt само по себе си не изглежда като фактор, който води до по-чести AI цитирания. По-рано SE Ranking анализира 300 000 домейна и не откри връзка между наличието на LLMs.txt и честотата на цитиране в AI отговори. Данните на Ahrefs дават възможно обяснение: ботовете, които са най-пряко свързани с live AI търсене и извличане на информация, почти не са заявявали тези файлове през май.
Какво следва
Един от най-важните изводи в анализа е свързан с риска от prompt injection. Ahrefs открива crawler, който изучава LLMs.txt като потенциален риск, защото AI агентите могат да се доверят на съдържанието, което поглъщат.
Това означава, че сайтовете, които автоматично генерират LLMs.txt файлове чрез CMS плъгини или външни инструменти, трябва внимателно да преглеждат съдържанието им. Проблемът не е само дали файлът носи полза за AI видимостта, а дали в него няма инструкции или съдържание, които биха могли да бъдат интерпретирани неправилно от AI агенти.
Най-важният практически извод е, че всички числа в анализа на Ahrefs трябва да се разглеждат като горна граница. Компанията измерва заявки към файловете, но не и дали ботовете реално са използвали съдържанието им след това.
За маркетолози, SEO експерти и издатели LLMs.txt засега изглежда повече като експериментален технически сигнал, отколкото като доказан инструмент за AI трафик, AI цитирания или по-добра видимост в генеративните търсачки.
- ТЕМИ:
