Anthropic показа как AI агентите пазят памет: от 13% на 48%

Накратко

Anthropic публикува как строи памет за AI агенти: записи на сесиите, бележки, уики и офлайн стъпка, наречена „сънуване“.
При фирмено уики от около 350 000 файла точността скочи от 13% на 48% след 128 сесии на сънуване. Уики плюс търсене стигна 61%, а само търсене 53%.
Комбинацията уики плюс търсене спести около 20 000 токена на въпрос. При обем това са реални пари.

AI агентът ти забравя всичко щом сесията свърши. Anthropic току-що показа как се оправя това, и то с числа. Ако правиш агенти за бизнес, това е безплатен чертеж.

Какво се случи

На 6 ноември инженерният екип на Anthropic публикува „Components of agent memory“. Паметта е разделена на слоеве. Записите на сесиите са търсим журнал. Бележките са неща, които агентът записва по време или след сесия. Уикитата са свързани страници, направени от бележките. Отгоре стои малък контекст, който се зарежда във всяка нова сесия.

После идва „сънуването“. Между сесиите агентът преглежда стари записи, поправя грешни бележки, добавя страници и решава какво да се зарежда предварително. Звучи странно. Работи.

Числата: при задача с база данни Opus 5.5 се вдигна от 0,655 на 0,838 средна награда с памет. При фирмено уики точността се качи от 13% на 48% след 128 сесии на сънуване. При въпроси върху няколко документа за сливане уикито взе 87%, а само търсенето 73%.

Показани са и провалите. Уики при една правна задача стана 1,77 пъти по-голямо от изходните документи и почти не помогна. Когато агентите пишеха в обща таблица, фактите се губеха: 41 от 57. Една страница на договор оправи нещата: 57 от 57.

Как да го използваш

Дръж горния слой малък. Кратък указател с връзки към детайлите. Дългите файлове с инструкции вредят.
Записвай само това, което агентът не вижда. Стратегии и проверени правила, не неща, които екранът вече показва.
Една страница на пишещ. Никога двама агенти да не редактират една страница.
Пускай нощен преглед. Втори проход, който сверява бележките със записите, хваща остарели факти, преди да им повярваш.
На по-слабите модели кажи ясно. Нареди им да четат паметта преди отговор. Sonnet 5 го правеше около 9 пъти от 10, Sonnet 4.6 под половината от случаите.

Сметката: 20 000 токена спестени на въпрос. Да кажем, че агентът ти за поддръжка отговаря на 1000 въпроса месечно. Това са 20 милиона токена. При приета цена от 3 € на милион входни токена спестяваш около 60 € на месец, около 720 € на година. Цената е мое допускане, провери твоята. Сънуването също харчи изчисления, така че реалната икономия е по-малка.

Какво означава

Паметта вече не е функция, а занаят. Печелят не тези с най-големия контекст, а тези, чиито агенти пазят чисти и верни бележки. Евтини модели с добра памет могат да бият скъпи без такава, поне в някои задачи.

Едно предупреждение. Това са собствени тестове на Anthropic върху собствени модели. Пробвай върху твоите данни, преди да преправяш каквото и да е.

Мнението на Иван

Заслужава си да се прочете целият текст, ако правиш агенти. Само уроците за раздуването и общата таблица ти спестяват седмица дебъгване. Правилото „една страница на елемент“ бих го копирал още днес за агент с бележки за склад или клиенти. Ръста от тестовете приемам за таван, не за обещание.

Източник: Anthropic

За автора

Ivan Ivanov

Основател на