Режи разходите за AI етикетиране с 98% със Strands Decider

Накратко

Инженери на Amazon смениха Claude Sonnet 4.6 с малък отворен модел, Strands Decider, за етикетиране на тикети. Докладват 98% по-ниска цена и 78% по-малко време на заявка.
Strands Decider е с лиценз Apache 2.0, инсталира се с pip и може да върви на лаптоп без видеокарта. Избира от опции и казва колко е сигурен. Не пише текст.
Парите: сортирането, насочването и проверките с да/не не искат голям LLM. Но под около 46 000 тикета на месец наета видеокарта излиза по-скъпо от API.

Повечето AI задачи в малкия бизнес са сортиране. Този имейл за плащане ли е, или за връщане? Този лийд топъл ли е? Това ревю ядосано ли е? За това не ти трябва модел, който пише поезия. Amazon показа какво става, когато спреш да плащаш за такъв.

Старият скъп начин

Пращаш всеки тикет на голям LLM с дълъг промпт: ето 20 категории, избери една. Работи. Но плащаш токени за всяко съобщение, а отговорът идва за секунди. Двама инженери на Amazon правят точно това с Claude Sonnet 4.6 във вътрешна система за тикети. После го заместват със Strands Decider E4B и публикуват числата на 9 ноември.

Какво е Strands Decider

Малък модел за решения от групата Strands Labs, с лиценз Apache 2.0. Даваш му ситуация и списък с избори. Връща вероятност за всеки избор и оценка на увереността. Не може да генерира свободен текст. Точно това е идеята: малък, бърз, евтин.

Ето числата от описанието на Amazon:

На тикет	Sonnet 4.6	Decider E4B
Време на заявка	4 215 ms	897 ms
Токени	6 724	2 010
Прогнозна цена	$0,0222	около $0,0005
На милион тикета	около $22 200	около $500

Това са 98% по-ниска цена и 78% по-малко време. Amazon твърди, че се събират милиони долари токени на година. Схемата: 20 етикета плюс опция „нито един“, опашка SQS, Lambda функция и SageMaker endpoint на инстанция ml.g5.xlarge.

Кой размер да избереш

Модел	Какво ти трябва	Скорост (от страницата на проекта)
2B (Qwen3.5)	RTX 3090, Mac с Apple silicon или CPU	115 ms медиана на RTX 3090
E2B (Gemma 4)	около 9 GB видеопамет или CPU	още няма надежден тест
E4B (Gemma 4)	около 15 GB видеопамет в bf16	139 ms медиана на един H100
12B и 26B-A4B	по-голяма видеокарта, възможен CPU	виж страницата на проекта

Почни с 2B. Той е референтният и най-лесен за пускане.

Пусни го за 20 минути

Инсталирай. Изпълни pip install strands-decider. За E4B засега ти трябва версията от GitHub: pip install "strands-decider @ git+https://github.com/strands-labs/strands-decider".
Тествай един въпрос. Изпълни strands-decider ask StrandsAgents/strands-decider-2B-qwen3.5-v1-2610 --state "Help! My payouts have been failing for 3 days!" --choice "Which team should handle this?=billing,sales,retail". Страницата на проекта показва „billing“ с 0,773.
Напиши етикетите като кратки правила. По едно-две изречения. Amazon е трябвало да съкратят своите, защото моделът чете най-много 4 096 токена.
Пусни сървър. Изпълни strands-decider serve <model> --port 8000 и пращай JSON заявки към /v1/systemone.
Ползвай увереността. Проектът казва, че отговорите с 0,9 или повече са верни в около 95% от случаите при къси класификации. Под 0,9 прати тикета на човек или на големия си LLM.
Първо пусни двата модела паралелно. Amazon са ползвали превключвател с три режима: стария модел, и двата, новия. Сравнявай седмица, преди да превключиш.
Подреждай JSON ключовете. Amazon установяват, че редът на ключовете променя вероятностите с до 0,19. Затова подреждат ключовете във всяка заявка.

Сметката: кога се отплаща?

Внимавай тук, защото повечето хора бъркат. Инстанцията на Amazon струва $1,408 на час в us-east-1. Ако върви цял месец, около 730 часа, това са около $1 028. Sonnet им е излизал $0,0222 на тикет. Делиш: $1 028 / $0,0222 са около 46 000 тикета на месец, преди наетата видеокарта да излезе по-евтина. Под това API е по-евтино.

Малкият магазин има по-добър вариант: пусни 2B на машина, която вече имаш. Да кажем 2 000 тикета на месец. През API при около €0,02 на тикет това са около €40 на месец, около €480 на година. На собствен CPU или Mac моделът струва €0 плюс малко ток. Цената на Amazon е за техните дълги промптове, така че твоето число ще е различно. Провери го със своите промптове.

Къде да го ползваш

Сортиране на обща поща във „връщане“, „доставка“, „цени“ и спам.
Оценка на входящи лийдове: обади се сега, отгледай или игнорирай.
Маркиране на ядосани ревюта за отговор от човек.
Насочване на чат съобщения към правилния човек, преди някой да ги прочете.

Седмичен тест, преди да се довериш

Не превключвай на сляпо. Вземи 200 реални съобщения от пощата си и ги раздели на ръка в 4 до 6 кутии. Това е твоят еталон. После пусни същите 200 през модела и сравни. Колко съвпадат? Колко от грешките са под 0,9 уверенност, тоест щяха да отидат при човек така или иначе? Ако грешките са предимно там, моделът е безопасен за твоя случай. Ако се появят и при висока уверенност, пренапиши етикетите на по-ясни правила или остани на стария си модел.

Една лесна уловка: етикет, който звучи като друг. „Връщане“ и „рекламация“ често се бъркат. Обедини ги или ги опиши с примери в две изречения. Повечето проблеми с точността идват от неясни етикети, не от модела.

Ограничения и слаби места

Връща избори, да/не и оценки. Без свободен текст, без отговори, без резюмета.
Увереността е калибрирана само за къси класификации.
Gemma моделите четат само текст. За изображения ти трябва Qwen моделът с допълнителна инсталация.
E4B се инсталира от GitHub, не от PyPI. Поддръжката за Apple silicon (MLX) засега иска клониране.
Бележките на самия проект казват, че разлики под около 10 задачи между единични тестове не са решени, а резултатът на E2B може да е грешен заради бъг, поправен по-късно.
Спестяването на Amazon е за една задача с дълги промптове. При теб може да е по-малко.

Алтернативи

Малък LLM, който вече имаш. Евтин модел с къс промпт и структуриран изход. Лесно, но пак плащаш на токен.
Класически класификатор. С няколкостотин етикетирани примера простият текстов класификатор е безплатен и бърз. Иска твои етикетирани данни.
Правила. Ако пет ключови думи хващат 80% от тикетите, почни оттам, а останалото праща на модел.

Прочети още: Настрой всички AI агенти за код от един файл за 0 € с Microsoft APM · Екип от AI колеги на твоя сървър с Rerun · Автоматизирай рутинни задачи в браузъра безплатно с AutoCua

Мнението на Иван

Това е от скучните победи, които обичам. Спри да плащаш на голям модел да избира една от пет кутии. Бих тествал 2B върху истинска пощенска кутия тази седмица, бих го пуснал до сегашната настройка и бих превключил само ако случаите с увереност 0,9 съвпадат. Не наемай видеокарта за това, освен ако нямаш десетки хиляди тикета.

Източници: Strands Agents · Strands Labs

За автора

Ivan Ivanov

Основател на