Пусни Qwen 27B на лаптопа си за 0 € с LM Studio

Накратко

Саймън Уилисън пусна Qwen 3.8 27B на собствения си лаптоп с LM Studio и командния инструмент llm. Файлът на модела е около 17 GB, а всеки токен е безплатен.
Плащаш с време: на теста с Breakout му трябваха 52 минути, докато Kimi K3.1 Pro през OpenRouter свърши за под 10.
Сметката: нощна серия от около 10 дълги задачи струва към евроцент за всяка в ток. Сменяш сметката за токени с търпение.

Всяка AI сметка е брояч, който тече. Пращаш дълъг документ, броячът тиктака и плащаш. За тежки задачи, на които не им трябва отговор за десет секунди, има по-евтин начин: пускаш отворен модел на машината, която вече имаш. Ето как го направи Саймън Уилисън тази седмица, колко струва и къде се счупва.

Какво е настройката

Три части. Моделът е Qwen 3.8 27B, отворен модел с 27 милиарда параметъра. Той ползва файла Q4_K_M от lmstudio-community в Hugging Face, свита версия от около 17 GB. LM Studio е приложението, което зарежда модела и го пуска на твоя компютър. Инструментът llm с плъгина llm-lmstudio ти позволява да викаш модела от терминала с един ред.

Защо го направи? Един изследователски пост твърдеше, че по-силен AI може да чете и редактира вътрешните тегла на друг модел. Той искаше да види дали и малък модел на лаптоп може да върши частта с интерпретацията. Това е поводът. Полезното за теб е, че същата настройка върти всичко.

Колко струва

Вариант	Цена на токен	Скорост в тестовете му	Данните ти
Qwen 3.8 27B локално	0 € (само ток)	46 мин Pac-Man, 65 мин Pong, 52 мин Breakout	Остават на лаптопа ти
Kimi K3.1 Pro през OpenRouter	Плащаш на токен, провери текущата цена	9 мин 41 с на Breakout	Изпращат се на доставчик

Той не посочва параметрите на лаптопа си, а статията не казва какъв е лицензът на Qwen. Провери лиценза на страницата на модела, преди да го ползваш в търговски продукт. Провери и условията на LM Studio за бизнес употреба.

Сметката: да кажем, че лаптопът ти тегли 60 вата, докато работи (мое допускане, измери твоя). Пускането на Pac-Man е 46 минути, или 0,77 часа, т.е. около 0,046 kWh. При 0,25 € за kWh това са около 0,01 €. В една 8-часова нощ се събират около десет такива серии за общо около 0,12 €. Ако същите десет задачи през платен API ти излизат дори по 1 € всяка, спестяваш около 10 € за нощ. Ако са по 5 €, спестяваш 50 €. Ти знаеш своята API сметка, сложи я.

Стъпка по стъпка

Провери паметта си. Файлът е около 17 GB, така че ти трябва ясно повече свободна RAM или GPU памет, плюс място за дълъг контекст.
Инсталирай LM Studio от lmstudio.ai и свали файла Qwen3.8-27B-Q4_K_M.gguf от страницата на lmstudio-community в Hugging Face.
Зареди модела в LM Studio и задай дълъг контекстен прозорец. Стандартните 8192 токена на Саймън дадоха грешки при дълги заявки.
Инсталирай командния инструмент llm, после добави плъгина с llm install llm-lmstudio.
Вдигни тайм-аута, защото локалните модели мислят дълго: задай променливата LMSTUDIO_TIMEOUT=900.
Пусни заявката: llm -f prompt.txt -m lmstudio/qwen/qwen3.8-27b. Флагът -f чете заявката от файл или от адрес.
Върви си. Провери резултата, когато свърши.

Това е всичко. Без акаунт, без API ключ, без карта.

За какво да го ползваш

Избирай работа, която е тежка, повтаря се и не иска бърз отговор. Резюмета на дълги документи. Сортиране на стотици имейли от клиенти. Масово пренаписване на описания на продукти. Четене на договор, който не искаш да качваш никъде.

Ето как бих го мислил за GiantParts. Каталог с употребявани части и ECU означава хиляди почти еднакви описания. Това е точно задача за нощна смяна на локален модел, а данните за наличностите не напускат машината ми. Не съм тествал тази настройка върху каталога, така че го приеми като план, не като резултат.

Прост тест, преди да се ангажираш

Не сменяй целия си процес по усещане. Вземи пет реални заявки от работата си, от тези, за които вече плащаш. Пусни всяка локално и в платения си инструмент. Запиши три неща: колко време отне, колко добър е отговорът от 1 до 5 и колко струва платеното пускане.

Ако локалните отговори са в рамките на една точка от платените, прехвърли този вид задачи в нощната смяна. Ако разликата е по-голяма, плащай за тях и мести само лесните. Повечето хора стигат до микс, а в него е спестяването.

Още един съвет: сложи напомняне в календара след месец и сравни истинската си сметка. Спестяванията, които не мериш, изчезват.

Ограничения и слаби места

Бъди честен за скоростта. На същия тест с Breakout локалният модел отне около пет пъти повече от хостнатия. Pong мина един час. Ако ти трябва отговор, докато клиентът чака, това е грешният инструмент.

Яде и компютъра ти. Модел от 17 GB с дълъг контекст забавя всичко останало, докато работи. Затвори табовете или го пусни на втора машина.

И предупреждение за самия експеримент. Саймън тества няколко задачи, а една още течеше, когато публикува. Моделът позна типа игра при Pac-Man с 72% увереност, при Pong със 75% и при Breakout с 88%. Това е забавно демо, не бенчмарк. Тествай модела върху своята задача, преди да му вярваш с истинска работа.

Алтернативи

Ollama: друг популярен начин да въртиш отворени модели локално от терминала.
llama.cpp: двигателят под много локални инструменти, за тези, които искат да контролират всяка настройка.
Хостнат отворен модел през OpenRouter: по-бърз и пак евтин, но данните ти напускат машината.

Мнението на Иван

Струва си за нощни задачи и лични данни, не и когато скоростта има значение. Бих го тествал тази седмица върху една реална серийна задача: същата заявка, локално срещу платен API, и сравнение на качеството и сметката. Ако локалните отговори стигат, току-що си свалил повтарящ се разход почти до нула.

Източници: Simon Willison · LM Studio

За автора

Ivan Ivanov

Основател на