Az Intel új GPU-val és Xeon-rackekkel készül az ügynöki AI-ra

A Xeon adja az ügynöki AI számítási alapját

Az Intel szerint az ügynöki AI több lépésből álló munkafolyamatokat hoz létre, amelyekben a lekérdezés, a következtetés, a feladatok összehangolása, az eszközhasználat és a végrehajtás egymásra épül. Ebben az x86-os processzorok központi szerepet töltenek be, mivel az általános célú számítás, az adatok feldolgozása, a bemenet és kimenet kezelése, valamint a feladatok végrehajtása mellett az esetleges gyorsítókat is működésben tartják.

A vállalat az OCP rendezvényén ökoszisztéma-partnerekkel közösen fejlesztett, Xeon-alapú rackterveket mutatott be. Ezek közül több az Open Compute Project Open Rack v3 szabványára épül, amely az Intel szerint egyszerűsíti a telepítést és az integrációt a nyílt adatközponti infrastruktúrákban. Egyes Xeon 6+ konfigurációk rackenként több mint 46 000 magot és 133,45 kW teljes rackteljesítményt kínálnak.

Akár 480 GB memória egyetlen GPU-n

Az Intel GPU D-sorozat, korábbi kódnevén Crescent Island, a memóriaigényes, folyamatos AI-következtetés gazdaságosabbá tételére készült. A Xe3P architektúrára épülő gyorsító legfeljebb 480 GB LPDDR5X memóriát, 1,5 TB/s memória-sávszélességet és 1,3 petaflops FP8 számítási teljesítményt kínál 350 wattos fogyasztási keret mellett.

A D-sorozatot nagy nyelvi modellekhez, hosszú kontextusú feladatokhoz és párhuzamos következtetési szolgáltatásokhoz tervezték. Az Intel állítása szerint egyetlen kártyán legfeljebb 300 milliárd paraméteres modellek, nyolc GPU-s rendszerben pedig ezermilliárdnál több paraméterrel rendelkező modellek is támogathatók. A célalkalmazások között több bérlős AI-szolgáltatások, robotikai feladatok és más, alacsony késleltetést igénylő munkaterhelések szerepelnek.

A szabványos PCIe-formátum, a léghűtés és a közös Xe szoftveralap az Intel szerint megkönnyítheti a beillesztést a meglévő adatközpontokba. Az ügyfelek mintavételezése már folyamatban van, a vállalat pedig OEM-ekkel, ODM-ekkel, neofelhő-szolgáltatókkal, független szoftvergyártókkal és AI-vállalatokkal dolgozik a telepítésre kész megoldásokon.

Nyílt szoftver és szabványok a rugalmasabb infrastruktúráért

Az Intel nyílt szoftveres stratégiája a processzorokon és GPU-kon futó munkaterhelések összekapcsolására épül. A vállalat iparági szabványos AI-keretrendszerekkel, következtetési futtatókörnyezetekkel és telepítési környezetekkel való natív integrációt emel ki. A közös Xe szoftveralap lehetővé teszi az alkalmazások hordozhatóságát az Intel GPU-platformjai között, miközben a fejlesztők a Xeon processzorokon és a GPU-kon is használhatják ugyanazokat a keretrendszereket.

Az Intel a feltörekvő nyílt modellek támogatását is upstream integrációval és modellengedélyezéssel kívánja gyorsítani. A közlemény a Meta Muse Glimmer modelljének Day 0 támogatását említi. A vállalat Intel AI for Enterprise Agent Toolkit eszköze jelenleg Xeon processzorokon telepíthető, és ügynöki alkalmazások összehangolására szolgál. Provider-alapú felépítését úgy tervezték, hogy később Intel GPU-kra is kiterjeszthető legyen.

Az Intel 2011 óta 116 hozzájárulást tett az Open Compute Project munkájához. Az idei bemutatón az Open Adapter Card munkacsoporthoz való hozzájárulását is ismertette. A kezdeményezés szabványos, alrackszintű gyorsítókártya-formátumot céloz, hogy javítsa a rendszerek mechanikai, elektromos és menedzsmentbeli együttműködését.

Az Intel megközelítése azokra a vállalatokra szabható, amelyek meglévő adatközponti beruházásaik megtartása mellett szeretnék bővíteni az AI-infrastruktúrát. A Xeon processzorok, a célzott gyorsítók, a nyílt szoftverek és a szabványos rendszerek kombinációja a vállalat szerint nagyobb választási lehetőséget adhat az inferencia skálázásához és az infrastruktúra fokozatos fejlesztéséhez.