Az Amazon évi 25 milliárd dolláros chipüzletet épített fel

Tíz év alatt külön üzletág lett a chipekből

Az Amazon 2015-ben vásárolta fel az Annapurna Labs chiptervező vállalatot. A cég szerint ekkor még évekre volt az AI-boom, a stratégia azonban egyértelmű volt: a felhőben használt munkaterhelésekhez tervezett chipek jobb teljesítményt és alacsonyabb költséget kínálhatnak az általános célú hardvereknél.

Az Amazon július 31-i beszámolója szerint a saját chipüzletág évesített bevételi üteme nemrég átlépte a 25 milliárd dollárt. A bevétel éves összevetésben három számjegyű ütemben nőtt. A portfóliót a Trainium, a Graviton és a Nitro alkotja. A Trainium az AI-modellek tanítására és futtatására készült, a Graviton az általános felhőalapú számításokat szolgálja ki, a Nitro pedig az AWS hálózatának, tárhelyének és biztonságának alapját adja.

A Trainium és a Graviton is a költségekre céloz

Az Amazon szerint a Trainium3 akár 40 százalékkal jobb ár-teljesítmény arányt kínál a Trainium2-höz képest. Energiahatékonysága is javult, a vállalat állítása szerint megawattóránként több mint ötször annyi kimeneti tokent képes előállítani, mint elődje.

A Gravitont az Amazon a legnagyobb 1000 EC2-ügyfelének 98 százalékánál használják. A Graviton akár 40 százalékkal jobb ár-teljesítményt kínál, a legújabb Graviton5 pedig akár 25 százalékkal nagyobb teljesítményt nyújt az előző generációnál. A Graviton-alapú szervereket jelenleg több mint 130 ezer ügyfél használja, és az AWS-hez hozzáadott új feldolgozási kapacitás több mint fele ilyen chipekre épül.

Az Amazon a chipeket és a hozzájuk tartozó szoftvereket közösen tervezi, a rendszer egészéből kiindulva. A vállalat szerint ez lehetővé teszi, hogy a hardvert a tényleges ügyfél-munkaterhelésekhez igazítsa.

Nagy AI-laborok és startupok is Trainiumot választanak

Az Anthropic legfeljebb öt gigawattnyi jelenlegi és jövőbeli Trainium-chip használatára kötelezte el magát Claude modelljeinek tanításához és futtatásához. A modellek több mint egymillió Trainium2-chipen futnak, az Anthropic emellett több tízmillió Graviton-magot is használ. Az OpenAI két gigawattnyi Trainium-kapacitás felhasználására vállalt kötelezettséget AWS-infrastruktúrán keresztül, 2027-es kezdéssel.

A Meta több tízmillió Graviton-mag telepítéséről írt alá megállapodást, az Uber pedig Gravitont használ a sofőrök és utasok másodperc törtrésze alatti párosításához, miközben a Trainium3-at is teszteli. Az Amazon szerint a Trainiumot választotta többek között a Neura Robotics, az Odyssey, a TwelveLabs, a DeCart, a Poolside, a Karakuri, a Matagenomi, a NetoAI és a Splash music.

Az Amazon Bedrock, a több százezer ügyfél által használt menedzselt AI-szolgáltatás, a következtetési feladatok többségét Trainiumon futtatja. Az Odyssey közlése szerint a Trainium használatával alternatívákhoz képest közel kétszer annyi hasznos számítási teljesítményt kap ugyanannyi dollárból.

Nagyobb rendszerek és készülő új generációk

Az Amazon nem kizárólag egyedi chipekben gondolkodik. A Trn3 UltraServers egyetlen integrált rendszerben akár 144 Trainium3-chipet fog össze, és a vállalat szerint akár 4,4-szer nagyobb számítási teljesítményt kínál, mint a Trainium2-re épülő UltraServers. Ez az Amazon értelmezése szerint lehetővé teszi, hogy az ügyfelek hónapok helyett hetek alatt tanítsanak be modelleket.

A Project Rainier az Amazon szerint a világ legnagyobb, kifejezetten élvonalbeli modellek nagy léptékű tanítására kialakított AI-számítási klasztere, amelyen az Anthropic Claude modelljei futnak. Közben már fejlesztés alatt áll a Trainium4, a Graviton pedig az Amazon tervei szerint az ügynökalapú AI munkaterheléseihez is tovább fejlődik.

Peter DeSantis, az Amazon AI-modellekért, chipekért és kvantumszámításért felelős vezetője szerint a chipfejlesztésbe fektetett beruházások a modellek teljesítményét és költséghatékonyságát is javíthatják. A vállalat így az AI-infrastruktúra két fontos oldalán, a gyorsítókon és az általános célú processzorokon is saját megoldásokat kínál az ügyfeleknek.