AI пренапиша теглата на друг модел: математика от 8% на 48%

Накратко

Изследователи от MIT CSAIL оставиха GPT-6 Astra да чете и редактира директно теглата на Qwen3.5-0.8B, малък отворен модел, без нито едно обучение.
Промяната засегна 0,016% от теглата и вдигна резултата на MATH-500 от 7,9% на 48,1%.
Парите: ако това се потвърди, част от GPU времето, което наемаш за дообучаване на малки модели, може да се замени с една заявка.

Един голям модел отвори мозъка на по-малък, намери грешката и я оправи. Без градиенти, без цикъл на обучение. Това твърди публикация от 2 ноември.

Какво се случи

Екип от MIT CSAIL показа какво наричат Weight-Space Programming. Подаваш на голям езиков модел суровите числа на една невронна мрежа като текст и го караш да я разбере или да я промени. Използваха GPT-6 Astra.

Три резултата се отличават. Първо, Astra погледна 17 253 тегла на малка мрежа за игри и позна на коя игра е обучена. Второ, написа от нулата малки мрежи за игри, които биха мрежи, обучавани с PPO за 100 милиона стъпки. Трето, оправи Qwen3.5-0.8B.

Оправянето на Qwen е важното за теб. Astra намери причината за циклите в разсъжденията, за които предупреждава самата карта на модела на Qwen, и промени 0,016% от теглата. Същите настройки, същите заявки. MATH-500 скочи от 7,9% на 48,1%. Следването на инструкции в IFEval се увеличи около 3 пъти.

Ограниченията са реални. Числата са на самите автори, резултатите са ранни и са върху модел от 0,8 млрд. параметъра. Още никой не ги е повторил.

Как да го използваш

Не можеш да го пуснеш върху свой модел утре. Но можеш да се подготвиш.

Ако ползваш малък отворен модел за поддръжка, описания на продукти или вътрешни инструменти, запиши трите му най-чести грешки още сега. Цикли, грешен език, счупено форматиране.
Пази малък тестов набор за всяка грешка. Когато излязат такива инструменти, ще проверяваш поправката за минути.
Спри да плащаш за сляпо дообучаване. Първо намери причината, после обучавай.

Сметката: нека един опит за дообучаване ти струва около €40 за наета GPU. Пробваш 10 варианта на месец. Това са €400 на месец, €4 800 на година. Ако директната промяна замени половината опити, спестяваш около €200 на месец. Това са мои допускания, не публикувани цени. Сложи твоите.

Какво означава

Досега промяната на модел значеше обучение. Обучението иска данни, GPU и време. Ако универсален езиков модел може да чете теглата и да ги поправя, цената на нагаждането на малки модели пада, а печелят малките екипи със собствени отворени модели.

Има и обратна страна. Модел, който чете теглата, може да намери скрити черти в тях. Статията проверява това, като пита кой от два модела е обучен да угодничи. Добре е за одити. Но е още една причина да внимаваш с отворените модели, които теглиш.

Мнението на Иван

Харесва ми посоката, защото сменя скъпото пробване на сляпо с една ясна инструкция. Но 0,8 млрд. параметъра и тест, направен от самите автори, не са доказателство за моя случай. Ще изчакам някой извън MIT да го повтори, преди да планирам нещо около него.

Източник: изследователи от MIT CSAIL

За автора

Ivan Ivanov

Основател на