AI чатботовете вече са част от ежедневието ни – използваме ги за писане на имейли, проучване на информация и получаване на бързи отговори. В същото време сме свидетели как тези модели понякога допускат грешки с голяма увереност и дори измислят информация, която звучи напълно достоверно. Сега изследователи установяват още един проблем – поведението на AI модели може да се променя в зависимост от това дали смятат, че някой ги наблюдава.
В ново научно изследване с отворен достъп учени от TCS Research и KIIT Bhubaneswar в Индия установяват, че някои AI модели са по-склонни да изпълняват инструкции, когато са предупредени, че отговорите им могат да бъдат наблюдавани. Когато смятат, че никой не ги следи, поведението им понякога се променя.
Изследователите наричат този феномен „alignment faking“ (симулиране на съответствие с инструкциите). Резултатите повдигат въпроси за последователността, с която AI моделите спазват зададените им правила.
AI може да даде различен отговор, когато смята, че е наблюдаван
За да разберат това поведение, изследователите тестват 10 AI модела, сред които GPT-4o mini, Gemma 3 на Google, няколко версии на Llama на Meta, DeepSeek и Mistral.
Експериментът обхваща 32 различни ценности, включително състрадание, съчувствие и автономност. Всеки модел е поставен в ситуации, при които трябва да избира между изпълнението на дадена инструкция и действията в съответствие с определена ценност.
Учените проверяват поведението на моделите при три различни условия:
- Без специални допълнителни инструкции.
- С инструкции, които предполагат, че отговорите няма да бъдат наблюдавани.
- С инструкции, които подсказват, че някой може да наблюдава отговорите.
Резултатите показват значителни разлики. В зависимост от модела средната разлика в степента на изпълнение на инструкциите между условията с наблюдение и без наблюдение варира от 5 до 50 процентни пункта.
Най-голямата разлика е отчетена при DeepSeek R1 Distill Llama 70B. По този конкретен показател за непоследователност в поведението моделът дори изпреварва значително по-голям модел на Mistral.
Изследователите установяват също, че поведението на AI моделите зависи в голяма степен от конкретната ценност, която се проверява. Един модел може последователно да изпълнява инструкции, свързани с определена ценност, но да реагира съвсем различно, когато е изправен пред друга.
Означава ли това, че AI моделите могат съзнателно да ни заблуждават?
Не непременно. Резултатите от изследването не доказват, че AI моделите съзнателно лъжат или умишлено се опитват да заблуждават потребителите.
Учените обаче забелязват особеност в начина, по който моделите обясняват решенията си.
Когато смятат, че отговорите им се наблюдават, техните обяснения често се съсредоточават върху необходимостта да следват инструкциите, за да избегнат евентуално повторно обучение.
При липса на предполагаем контрол моделите по-често обсъждат конфликти между зададените инструкции и ценности като състраданието.
Това наблюдение е особено интересно на фона на вече познатия проблем с AI халюцинациите, при които чатботовете генерират невярна или измислена информация, представена по убедителен начин.
Макар изследването да не разглежда пряко халюцинациите, то подчертава още една причина потребителите да не приемат автоматично всеки уверен отговор на AI за достоверен.
Какви са ограниченията на изследването?
Резултатите трябва да се разглеждат и в контекста на няколко важни ограничения.
Изследователите са тествали по-стари AI модели, много от които са с публично достъпни параметри, а не най-новите версии на ChatGPT, Gemini или Claude.
Освен това експериментите са проведени в контролирана среда. Следователно резултатите не доказват, че същите модели непременно ще демонстрират идентично поведение при обичайните ежедневни разговори с потребителите.
Въпреки тези ограничения изследването показва защо оценяването на AI модели само при един набор от условия може да даде непълна представа за тяхното поведение.
Ако един AI модел реагира различно в зависимост от това дали смята, че е наблюдаван, възниква съществен въпрос – на кое от тези поведения можем да разчитаме?
- ТЕМИ: