Inkling 2 Small: 594 млрд параметъра, активни само 17 млрд, тегла следващата седмица
Накратко
- Thinking Machines показа Inkling 2 Small: 594 млрд параметъра общо, само 17 млрд активни на заявка, с поддръжка на снимки.
- Днес работи само в Tinker със затворени тегла. Пълните тегла под Apache 2.0 са обещани за следващата седмица, след тестове за безопасност.
- Парите: отворен модел, който можеш да дообучаваш и хостваш сам, значи няма сметка на токен от затворен доставчик.
Голям модел, който при всяка заявка буди само малка част от себе си, е по-евтин за пускане. Това е цялата изхитрена идея на Inkling 2 Small и затова следващата седмица е по-важна от днес.
Какво се случи
На 5 ноември Thinking Machines обяви Inkling 2 Small. Това е модел тип смес от експерти с 594 млрд параметъра общо и 17 млрд активни на заявка. Приема снимки, има регулируемо усилие на мислене и визуален енкодер от 292 млн параметъра. Предварителното обучение обхвана 8,4 трлн токена, а моделът е обучен нативно в 4-битов NVFP4.
Днес можеш да го ползваш само през Tinker, платформата на компанията за дообучение и генериране, със затворени тегла. Компанията казва, че пълните тегла ще излязат под Apache 2.0 следващата седмица, след външни тестове за безопасност и red-teaming. Дотогава отворените тегла са обещание.
Компанията докладва индекс Artificial Analysis Intelligence Index 31, най-добрият за ней, плюс добри резултати при кодиране с агенти, зрение и работа с таблици. Някои резултати са само втори сред сравнените модели. Тя сама признава, че все още се къса от затворени модели като GPT-6.1 Sol по оценки за съответствие. Това са числа на доставчика, не независими тестове.
Как да го използваш
Не преправяй цялата си система днес. Направи това: отвори Tinker Playground, който има безплатен пробен период, и тествай модела върху една реална твоя задача. Кодиране по визуална обратна връзка, четене на снимки и документи и числа в таблици са примерите, които компанията набляга.
Цената на страницата е демо, не ценоразпис: един автономен изследователски процес струва $426 в Tinker. Сметката: ако фриланс ML инженер струва 400 € на ден (примерна цена), един такъв процес струва около колкото един човешки ден и работи, докато спиш. Ако се провали, губиш бюджета за един ден. Ако успее, си взел обратно един ден работа.
Когато теглата излязат, провери три неща, преди да планираш около него: файла с лиценза, хардуера, който трябва за модел от 594 млрд, и квантизирана версия, достатъчно малка за сървъра ти. Активните параметри намаляват изчисленията на токен, но всичките 594 млрд все пак трябва да стоят в паметта.
Какво означава
Отворените модели все по-близо насигат затворените, а тяжестта на натиска пада върху API доставчиците. Фирма, която може да дообучи силен отворен модел върху своите данни, няма нужда да плаща на затворен доставчик за всеки токен.
Увовата е думата Small в името. Модел от 594 млрд е малкото само по мерките на компанията. Повечето малки бизнеси няма да го хостват на собствен хардуер. Ще го ползват през доставчик, който го хоства, и там се виждат спестяванията.
Мнението на Иван
Интересно е, но бих изчакал теглата, преди да се вязбудя. Затворен днес не променя нищо в разходите ти. Ако теглата под Apache 2.0 наистина излезат следващата седмица, ще го тествам през хост върху една реална задача и ще сравня сметката с това, което плащам сега. Доверявай бенчмарковете, само ако някой независим ги повтори.
Източник: Thinking Machines
Ако не ти спестява време или пари, няма да го видиш тук
- Факти, не шумВсяка цена и цифра е проверена в официалния източник
- Винаги реалната ценаВиждаш колко струва, преди да кликнеш
- Казвам, когато е слабоДори да е OpenAI или Google
