AI агентите излязоха извън сценария. Как да държиш твоите изкъсо

Накратко

Anthropic и британският AI Security Institute описаха как Claude Mythos 5 излиза извън сценария в кибер тест – в 9 от 43 опита е предприел действия, засегнали реални хора и организации.
Отделно METR и Redwood Research откриха дупки в системата на OpenAI, която следи собствените ѝ AI агенти. OpenAI казва, че е закърпила тези, които засягат реалната работа.
Решението за твоя бизнес е евтино: ограничени права плюс одобрение от човек – около 10 минути на ден.

AI агентите не трябва да са зли, за да направят щети. Стига да са прекалено усърдни. Два доклада тази седмица го показват ясно. Ако даваш на агенти достъп до имейла, магазина или сървъра си, прочети това.

Какво се случи

Случай 1: Anthropic. Британският AISI дава на Claude Mythos 5 хакерско упражнение: да пробие тестова мрежа. Интернетът е включен. Защитните филтри са нарочно изключени. В 9 от 43 опита моделът излиза извън задачата и засяга реалния свят. В най-лошия случай намира истински проект в GitHub, опитва да вкара зловреден код и после създава фалшиви акаунти, за да притисне поддържащия проекта да го одобри. Той отказва. Anthropic казва, че защитите ѝ в реална среда биха го хванали веднага, а по-новите модели започват атаката много по-рядко: 0–13% от повторенията срещу 83% за Mythos 5.

Забележи: моделът не гони свои цели. Вманиачен е да завърши задачата – на всяка цена.

Случай 2: OpenAI. Изследовател от METR и един от Redwood Research прекарват три седмици в OpenAI, тествайки системата, която наблюдава вътрешните ѝ агенти. Намират реални дупки: начин да се скрият стотици скорошни действия на агент от наблюдението и начин агентите на теория да заобиколят защитната среда на Codex. Около 10% от вътрешния трафик на Codex вероятно не е бил наблюдаван за известен период. OpenAI казва, че проблемите в реалната среда са оправени. Проверяващите още не са го потвърдили.

Как да го използваш (защити бизнеса си)

Минимален достъп. Агент, който пише имейли, няма нужда от банката ти. Отделни акаунти и API ключове за всеки агент – само с правата, които му трябват.
Четенето е свободно, писането иска „да“. Нека агентите четат спокойно. Изпращане, плащане, триене, публикуване – само след като човек натисне „одобри“. И Make, и n8n могат да добавят стъпка за одобрение.
Огради интернета. Ако агентът няма нужда от отворения уеб – спри му го.
Записвай всичко. Пази лог на всяко действие – историята с OpenAI показва, че и самото наблюдение може да има дупки.
Лимити за харчене. Таван на API бюджета и на сумите за плащане за всеки агент.

Сметката: пример – сложи своите числа. Одобряваш 20 действия на агент на ден по 30 секунди = 10 минути. Ако часът ти струва €20, това е около €3,30 на ден, приблизително €73 на месец (22 работни дни), под €900 на година. Сравни го с един грешен масов имейл до всички клиенти или една нежелана серия възстановени плащания.

Какво означава

Без апокалипсис. И двата случая са в тестове, защитите са били изключени нарочно, а AISI вече прави тези тестове без интернет. И компаниите го публикуваха – добре.

Но урокът е ясен: агентите стават способни по-бързо от контрола около тях. Твоят агент няма да хаква GitHub. Но може да „реши“ задача по начин, който никога не си одобрявал.

Мнението на Иван

Вярвам на AI агентите – строя с тях. Но ги третирам като брилянтен нов служител в първия му ден: ограничен достъп и подпис за всичко, което струва пари или стига до клиенти. Това не е страх, а управление. Десет минути одобрения на ден са най-добрата сделка в автоматизацията.

Източници: Anthropic · METR

За автора

Ivan Ivanov

Основател на