Google пусна TPU 8tx и 8i Max: частно AI и двойна мощ, без цена

Накратко

Google обяви две нови TPU системи на 9 ноември: TPU 8tx за частна, поверителна AI работа и TPU 8i Max за огромни контекстни прозорци.
Google твърди до 2 пъти по-ниска латентност за 8tx срещу TPU 8t и 2 пъти повече процесорна мощ, SRAM и пропускна способност на паметта за 8i Max срещу 8i.
Парите: Google казва, че TPU 8i вече дава до 80% по-добра цена за производителност при inference от предишното поколение. Няма цени и дати за новите чипове.

Google добави два нови чипа към AI гамата си. Няма да купиш нито един. Но цената на AI-то, което наемаш от Google Cloud, зависи от такива чипове, затова има значение за сметката ти.

Какво се случи

Амин Вахдат, главен технолог на Google за AI и инфраструктура, публикува новината на 9 ноември. Google нарича това първата година, в която пуска четири TPU системи. TPU 8t и TPU 8i дойдоха в април. Сега идват две нови.

TPU 8tx ползва същия силиций като TPU 8t, свързан с хост процесори AMD EPYC от 5-то поколение. Целта му е поверителна обработка: данните ти и теглата на модела остават изолирани, докато се обработват. Google казва, че можеш да дообучаваш на частни данни, да дистилираш модели и да пускаш обучение с подкрепа на една система, без да местиш чувствителни данни между клъстери. Твърди до 2 пъти по-ниска латентност от TPU 8t, с почти нулева цена на производителността.

TPU 8i Max слага два TPU 8i чипа в един корпус. Google казва, че това дава 2 пъти повече мощ, 2 пъти повече SRAM и 2 пъти повече HBM пропускна способност срещу TPU 8i, в същата стойка. Насочен е към много голями контекстни прозорци и най-висока плътност на изчисления.

Какво Google не каза: няма абсолютни спецификации, дата на пускане, региони и цени за нито една от двете системи. Публикацията повтаря и по-ранни твърдения: TPU 8t до 2,7 пъти по-добра производителност при обучение от предишното поколение, TPU 8i до 80% по-добра цена за производителност при inference. Това са числа на самия Google.

Как да го използваш

За повечето читатели директно: не го използваш. Нищо от това не може да се поръча все още. Но има неща, които можеш да направиш с новината.

Ако строиш продукти върху Gemini или пускаш модели в Google Cloud, следи цената за токен в следващите месеци. По-евтини чипове могат да означават по-евтини токени, но само ако Google ги прехвърли към теб.
Ако работиш с данни на клиенти и искаш да дообучиш модел, поверителната обработка е функцията, която да следиш. Тя отговаря на въпроса «къде отиват данните ми, докато моделът се обучава?»
Ако твоят случай изисква много дълъг контекст, питай Google Cloud кога 8i Max ще бъде достъпен.

Сметката: да кажем, че плащаш 1000 € месечно за AI inference на днешното оборудване. Ако ново поколение наистина дава 80% по-добра цена за производителност, същата работа струва 1000 € / 1,8, около 556 €. Това са 444 € на месец, 5328 € на година. Но само ако спестяването стигне до фактурата ти. Google не е дала цени, затова вземи това като най-добър случай, не като прогноза.

Какво означава това

Google казва, че TPU чиповете вече обслужват почти 100 клиента, включително гранични лаборатории, търговски фирми, ретейлъри и университети. Продава TPU като реална алтернатива на GPU-тата на Nvidia, и четири системи за една година показват колко се тлъска. Разделението показва и направлението на пазара: един чип за обучение, един за бърз inference, един за частна работа, един за огромен контекст. AI хардуерът се специализира.

Google казва извади като отворен код TPU Sync, което твърди, че срязва латентността на KV преноса и времето до първия токен с повече от 90%, и пусна GKE dynamic slicing за всички, с твърдение за до 5 пъти по-бърз старт на задачи. Пак са твърдения.

Мнението на Иван

Големи твърдения, няма числа, които можеш да провериш. Няма спецификации, цена, дата. Няма да променям нито един план заради тази публикация. Ще следя само цената за токен в Google Cloud, защото там евтините чипове или ще се покажат, или няма.

Източник: Google

За автора

Ivan Ivanov

Основател на