A Supermicro SambaNova SN50 chipekkel épít AI-inferencia-rendszereket

NVIDIA GPU-k és SambaNova chipek egy rendszerben

A SambaNova november 3-i bejelentése szerint a Supermicro integrálja, validálja, leszállítja és támogatja azokat a szétválasztott inferenciarendszereket, amelyek NVIDIA GPU-kat párosítanak a SambaNova SN50 RDU-ival. A rendszereket adatközpontokban használható, ügynökalapú AI-inferenciára szánják.

A fokozatos bevezetés egy kezdeti, 10 000 SN50 chipből álló szállítmánnyal indul. A termékeket először NeoCloudoknak és szuverén felhőszolgáltatóknak értékesítik, később pedig azokhoz a vállalatokhoz is eljutnak, amelyek saját adatközpontjaikban futtatnak mesterséges intelligenciát.

A SambaNova szerint a partnerség mögött az áll, hogy az ügynökalapú AI-rendszerek várhatóan jelentősen növelik az inferencia iránti igényt. Az ilyen ügynökök több ezer alkalommal hívhatnak meg nagy nyelvi modelleket, és egy-egy hívás teljesítése akár percekig is tarthat. Emiatt már kisebb sebesség- és hatékonyságjavulás is értékes lehet.

Más hardver kell a kérés feldolgozásához és a válaszhoz

A vállalat magyarázata szerint a nagy nyelvi modellek inferenciája két szakaszra bontható. A prefill szakasz dolgozza fel a promptot, és elsősorban számításigényes, ezért ebben az NVIDIA GPU-k erősek. A decode szakasz ezzel szemben tokenenként állítja elő a választ, így főként memóriaigényes.

A SambaNova SN50 RDU-kat kifejezetten erre a második feladatra tervezték. A SambaNova szerint az ügynökalapú munkaterhelések idejük nagy részét a decode szakaszban töltik, ezért az SN50 RDU-k különösen alkalmasak ezek gyorsítására. A rendszer logikája az, hogy minden fázishoz az arra megfelelő hardvert használja.

A cég állítása szerint az SN50 RDU-k és az NVIDIA GPU-k együttes használata gyorsabb és hatékonyabb inferenciát tesz lehetővé, mint bármelyik hardvertípus önmagában. A SambaNova azt is közölte, hogy az SN50 RDU-k nagy modellek nagy sebességű, nagy áteresztőképességű inferenciáját végzik, miközben nem igényelnek rendkívül magas racksűrűséget és energiaigényt. Így a vállalat szerint meglévő adatközpontokban is telepíthetők.

A Supermicro végzi az integrációt és a támogatást

Rodrigo Liang, a SambaNova társalapítója és vezérigazgatója szerint az ügyfelek mostantól egy olyan, világszerte működő partneren keresztül rendelhetnek SN50 RDU-kat, amelytől már GPU-kat is vásárolhatnak. „Így válik a gyors és hatékony inferencia széles körben elérhetővé”, fogalmazott a SambaNova közleménye szerint.

Charles Liang, a Supermicro elnök-vezérigazgatója azt mondta, hogy az együttműködés a vállalat DCBBS-portfólióját bővíti. A közlemény szerint ennek része a GPU-számítást és a specializált inferenciagyorsítást kombináló, heterogén architektúrák támogatása.

A Supermicro feladata lesz az integráció, a validálás, a szállítás és a támogatás, beleértve a helyszíni szervizt is. A SambaNova mérnökei együtt dolgoznak majd a Supermicro csapataival az ügyféltelepítéseken. Emellett gondoskodnak arról, hogy a modellek megfelelően fussanak, és az SN50 RDU-kon a lehető legjobb teljesítményre legyenek hangolva.

Az ügyfelek szempontjából a SambaNova egyszerűbb beszerzési folyamatot vár a partnerségtől: az SN50 RDU-kat ugyanattól a csatornapartnertől vásárolhatják meg, mint AI-infrastruktúrájuk többi elemét. A SambaNova arra számít, hogy az együttműködés révén 2027-ben jelentősen több nagy teljesítményű inferenciakapacitás települhet, mint nélküle.