Edge0-145B: AI модел със 145 млрд. параметъра на лаптоп с 48 GB

Накратко

Edge0 пусна с отворен код Edge0-145B, модел със 145 млрд. параметъра, който върви на лаптоп с 48 GB памет.
Заявената пикова памет е 29 GB, а скоростта над 80 токена в секунда, без такси за токени в облака.
Ако плащаш за API токени за работа на агенти, това е първият локален модел, който си струва да сравниш със сметката си.

Досега голям модел значеше голяма сметка за облак. Edge0 твърди, че това се променя. На 12 ноември компанията пусна Edge0-145B и Edge0-120B, и двата с тегла в Hugging Face.

Какво се случи

Edge0-145B има 145 млрд. параметъра, но на всяка стъпка работят само около 10 млрд. Така се събира в паметта. Edge0 съобщава 29 GB пикова памет, над 80 токена в секунда при генериране, над 1100 токена в секунда при четене на промпт и контекст от 128K до 256K. Консумацията е около 120 W.

На хартия тестовете са силни. В Terminal-Bench 2.1 моделът получава 86,52 срещу 78,2 за Claude Opus 4.6 (Max). В GPQA-Diamond е 90,4, близо до 91,3 на Claude. В DeepSWE 1.1, тест за програмиране, е 64,6.

Едно предупреждение. Това са вътрешни тестове на самата Edge0, а пълната методика ще излезе по-късно в технически доклад. Приеми числата като твърдение, не като присъда.

Върви на macOS, Windows и Linux, включително на чипове Apple M и видеокарти NVIDIA RTX 4090 и 5090.

Как да го ползваш

Най-подходящо е за работа на агенти: код, дебъгване, скриптове, проверки в цикъл. Такива задачи изяждат хиляди токени. Локално всеки допълнителен кръг не струва нищо освен ток.

Подходящо е и за частни файлове. Договори, клиентски списъци, схеми могат да останат на твоята машина.

Сметката: да кажем, че даваш 150 € на месец за API токени за агенти. Това са 1800 € на година. Edge0-145B по 8 часа на ден в 22 работни дни при 120 W е около 21 kWh. При 0,25 € за kWh това са около 5 € на месец. Уловката е лаптопът. Трябват ти 48 GB памет, а Edge0 не дава цена за друг хардуер, така че спестяването зависи от машина, която може вече да имаш.

Какво означава това

Облачните лаборатории губят първо при повтаряща се работа с голям обем. Който пуска една и съща агентна задача цял ден, вече има причина да я свали локално и да остави облака за най-трудното.

Преди да градиш върху него, прочети лиценза. Не проверих условията за търговска употреба, а това е важно, ако смяташ да пускаш продукт.

Прочети още: Безплатните Bolt модели на NVIDIA пускат AI агенти на твоя компютър · Безплатна транскрипция на 40 езика със собствен NVIDIA модел · Inkling 2 Small: 594 млрд параметъра, активни само 17 млрд, тегла следващата седмица

Мнението на Иван

Заслужава тест, не смяна. Ако имах машина с 48 GB, още тази седмица щях да пренеса повтарящите се агентни задачи там и да сравня качеството със сметката си за облак. Докладът с метода щях да изчакам, преди да вярвам на тестовете.

Източник: Edge0

За автора

Ivan Ivanov

Основател на