AWS реже един GPU на дялове: 18-34% по-евтин AI хостинг, но с уловка
Накратко
- Amazon SageMaker вече може да реже един NVIDIA GPU на изолирани дялове, всеки със свой модел.
- AWS измерва 18-34% по-ниска цена на милион изходни токена при половин H100 спрямо цял A100, но само над определен трафик.
- Без допълнителна такса. Плащаш обичайната цена на инстанцията и я ползваш по-пълно.
Да плащаш за цял GPU, за да пуснеш малък модел, е като да наемеш камион за една пица. AWS току-що добави начин да спреш.
Какво се случи
На 6 ноември блогът на AWS за машинно обучение обяви разделяне на GPU за SageMaker Inference, базирано на NVIDIA Multi-Instance GPU (MIG). Един GPU се превръща в няколко изолирани дяла. Във всеки може да работи друг модел, или един модел заема част от GPU.
Работи при endpoint-и с inference components. Включва се с две опционални API полета: AcceleratorPartitionLayouts на production variant и AcceleratorPartitionType на всеки компонент. Без нови API операции и нови права.
Поддържан хардуер: P4d (A100 40 GB), P5 (H100 80 GB), G7 (RTX PRO 4500 Blackwell, 32 GB) и G7e (RTX PRO 6000 Blackwell Server, 96 GB). Регионите включват Франкфурт и Ирландия, плюс US East, US West, Сингапур и Токио.
Главното число има уловка. AWS сравнява един половин H100 дял с един цял A100-40GB, и двата с Llama-3.1-8B-Instruct. Делът излиза с 18-34% по-евтин на милион изходни токена. Но само над праг на паралелни заявки: 64 за промпт от 100 токена и едва 4 за промпт от 8000 токена. Под него цял A100 е по-евтин. AWS казва, че е сравнение за конкретен случай, не общо правило.
Как да го използваш
- Няколко малки модела на една машина. Класификатор, embedder и чат модел получават по един дял вместо три инстанции.
- Само за натоварени endpoint-и. Ако трафикът ти е нисък и на талази, разделянето не помага. Първо измери паралелните заявки.
- Провери детайла за P4d. Профилът mig-1g.10gb иска InferenceAmiVersion al2023-ami-sagemaker-inference-gpu-4-1.
Колко струва? Нищо допълнително. AWS таксува целия инстанс по обичайната часова цена. Един p4d.24xlarge в Орегон беше $25,25 на час в анализа на AWS.
Сметката: представи си, че харчиш $10 000 месечно за inference на малък модел при голям трафик. Икономия от 18-34% са $1800 до $3400 на месец. При около 0,86 € за долар (мое допускане) това са 1550 до 2900 € месечно, или 18 600 до 35 000 € годишно. Ако трафикът е под прага, икономията може да е нула.
Какво означава
Ерата на малките модели иска и малка икономика. Екипите с много 8B модели горят GPU часове върху празен силиций. Разделянето вдига използването без да пипаш модела.
Кой губи? Който продава тънки обвивки около цена на токен за малки модели. По-евтиният хостинг стеснява маржа му. И помни теста: един модел, едно сравнение, направено от продавача. Пусни собствен тест на натоварването.
Мнението на Иван
Добро за екипи, които вече са в SageMaker с натоварени малки модели. Пропусни го, ако си малък и трафикът ти е слаб, прагът ще изяде икономията. Аз бих пуснал един тест при реалните ми паралелни заявки, преди да местя нещо. Тестът струва няколко долара. Грешното решение струва хиляди.
Източник: AWS
Ако не ти спестява време или пари, няма да го видиш тук
- Факти, не шумВсяка цена и цифра е проверена в официалния източник
- Винаги реалната ценаВиждаш колко струва, преди да кликнеш
- Казвам, когато е слабоДори да е OpenAI или Google
