llama.cpp стана 1.0: стабилен локален AI без такса

Накратко

llama.cpp и двигателят му ggml достигнаха версия 1.0.0 на 13 ноември, вече с нормални номера на версиите.
Махат се стари функции, добавят се FP8, речев endpoint и по-защитен сървър.
Парите: модел на твой компютър е най-евтиният начин да спреш да плащаш на потребител.

Най-популярният инструмент за пускане на AI на собствен компютър получи първата си стабилна версия. llama.cpp вече е 1.0.0, а с него и ggml, двигателят отдолу. За този, който гради неща, това значи едно: можеш да разчиташ на него, без да се страхуваш, че следващият ъпдейт ще счупи всичко.

Какво се случи

На 13 ноември екипът на ggml-org маркира ggml v1.0.0 и около половин час по-късно влезе промяната на llama.cpp към 1.0.0. Досега проектът ползваше номера на билдове като b12377. Сега има семантично версиониране: голяма, малка и поправка. Смяна на голямата цифра значи, че нещо е счупено. Малката значи ново. Поправката е просто поправка.

Какво има в llama.cpp 1.0.0 според бележките към изданието:

Махнат е остарелият публичен API, а API-то за спекулативно декодиране е преместено в основния хедър.
FP8 KV кешове, които държат работната памет на модела в по-малко място.
Кеш в RAM за mixture-of-experts модели, с дял за процесора, който настройваш.
Нови архитектури, сред които Kimi-K3.1-Pro, и модел за говор.
Нов endpoint /v1/audio/speech в llama-server.
Защита на сървъра срещу SSRF, CORS злоупотреби и DNS rebinding, плюс нов уеб интерфейс с групи чатове.

Самият ggml получава ускорения за CUDA, Metal, Vulkan, SYCL и OpenCL. Един и същ модел трябва да върви по-бързо на Nvidia, Apple, AMD, Intel и телефонни чипове.

Как да го ползваш

Сметката: малък екип от 5 души, които плащат по 20 € на месец за AI инструменти, харчи 100 € на месец или 1 200 € на година. Локален модел на машина, която вече имаш, струва ток. Това е мой пример, не цена от изданието. Качеството на локалните модели още изостава от най-големите платени, така че тествай, преди да отказваш каквото и да е.

Три практични стъпки:

Заключи версията. Избери 1.x в инсталацията си и няма да те изненада тиха счупваща промяна.
Сложи llama-server зад вътрешните си инструменти. Говори с OpenAI-подобно API, така че автоматизация в Make или n8n го вика като всеки друг модел.
Ползвай новия речев endpoint за гласови бележки и четене на глас, без да плащаш на символ.

Едно предупреждение. Ако си градил върху старото API, 1.0.0 го маха. Прочети промените в API-то, преди да ъпдейтнеш.

Какво означава

Етикетът 1.0 казва на компаниите, че върху това може да се строят продукти. Очаквай още приложения с llama.cpp вътре. Губят тънките обвивки, които взимат месечна такса за нещо, което безплатен двигател вече върши надеждно.

Прочети още: Безплатните Bolt модели на NVIDIA пускат AI агенти на твоя компютър · Edge0-145B: AI модел със 145 млрд. параметъра на лаптоп с 48 GB · DeepSeek пусна безплатен агент, който сам отговаря на GitHub заявки

Мнението на Иван

Заслужава си, ако имаш повтаряща се текстова работа: описания на продукти, сортиране на имейли, вътрешно търсене. Бих го тествал на резервна машина тази седмица и бих махнал скучните задачи от платените API първо. За трудно мислене пак бих платил за топ модел.

Източници: ggml · llama.cpp

За автора

Ivan Ivanov

Основател на