Az Equinix NVIDIA-val és Together AI-jal készül az AI-inferenciára

A NVIDIA GTC-n mutatkozik be a megoldás

Az Equinix október 29-i bejelentése szerint a vállalat a washingtoni NVIDIA GTC konferencián, a 206-os standnál mutatja be az Equinix Inference Exchange szolgáltatást. A rendezvény november 30. és december 3. között zajlik Washingtonban.

A cég szerint a megoldás lerövidíti az utat a GPU-k használatától a produkciós inferenciáig. Az inference, vagyis a betanított AI-modellek válaszadásra és feladatvégrehajtásra történő használata során egyre fontosabbá válik, hogy hol fut a feldolgozás. Ez hatással van a teljesítményre, a költségekre és az irányításra is.

Az Equinix úgy látja, hogy ahogy a vállalati AI-projektek a kísérleti szakaszból éles használatba kerülnek, az inferenciának közel kell lennie a kiszolgált felhasználókhoz, adatokhoz és alkalmazásokhoz. Mindezt több felhő, modell és szolgáltató környezetében kell összekapcsolni.

Három technológiai elemre épül

Az Equinix Inference Exchange három részt kapcsol össze. Az Equinix AI-ra felkészített adatközpontokat biztosít áramellátással, fejlett hűtéssel és az üzemeltetéshez szükséges szolgáltatásokkal. Ezek az adatközpontok az Equinix Fabric hálózaton keresztül felhőkhöz, hálózatokhoz és AI-szolgáltatókhoz csatlakoznak.

A NVIDIA Enterprise Reference Architectures referencia-architektúrákkal és gyorsított számítással támogatja a rendszert. Az Equinix szerint ez az AI-infrastruktúra áteresztőképességének növelését és a tokenenkénti költség csökkentését szolgálja.

A Together AI biztosítja az inferenciaplatformot, amely több mint 200 nyílt forráskódú modellt kínál. A rendszer több bérlős környezetben is használható a megosztott hatékonyság érdekében, illetve dedikált, egybérlős telepítésként olyan munkaterhelésekhez, amelyeknek lefoglalt kapacitásra van szükségük. Az OpenAI-kompatibilis API lehetővé teszi a modellek cseréjét az integrációk újraírása nélkül.

Az Equinix által megadott infrastruktúraadatok szerint a vállalat 280-nál több adatközponttal, 77 metróövezetben, 230 felhőkapcsolattal és több mint 10 500 összekapcsolt vállalattal rendelkezik. A cég szerint a tíz legnagyobb AI-modellszolgáltató közül nyolc, a tíz legnagyobb AI-felhő közül pedig kilenc az Equinixnél telepítette szolgáltatásait.

Peremhálózati feldolgozás, nyílt modellek és szuverenitás

Az Equinix három fő vállalati felhasználási módot emel ki. A metróövezeti pereminferencia során a feldolgozás a felhasználókhoz és az adatokhoz közel futhat, ami a vállalat szerint alacsonyabb késleltetésű AI-élményeket tesz lehetővé. Ezt az Equinix fizikai biztonsága, működési mérete és globális elérése egészíti ki.

A második lehetőség a zárt, saját tulajdonú modellekről a nyílt forráskódú modellekre történő átállás produkciós környezetben. A Together AI platformja ugyanazokon a Fabric-kapcsolatokon keresztül érhető el, amelyeket a vállalatok más szolgáltatókhoz is használnak. Az Equinix szerint ez nagyobb költségszabályozást és a szolgáltatói függőség elkerülését teszi lehetővé.

A harmadik terület a szuverén AI. A munkaterhelések olyan helyeken futhatnak, amelyek megfelelnek az adatok elhelyezésére és az adatkezelési szuverenitásra vonatkozó követelményeknek. Így szabályozható, hol dolgozzák fel az adatokat és hol fut az inference.

2027 első negyedévétől lesz elérhető

Az Equinix Inference Exchange a bejelentés szerint 2027 első negyedévétől lesz elérhető. A vállalat állítása szerint a szolgáltatás nyílt alapokra épül, szolgáltatósemleges kialakítást követ, és a teljesítményre optimalizált architektúrákat tesz lehetővé.

A vállalati felhasználók számára a megoldás a kísérletezés és a produkciós használat közötti átmenetet célozza. A hangsúly a biztonságos, alacsony késleltetésű kapcsolaton van a már használt felhők, hálózatok és AI-szolgáltatók felé, miközben a szervezetek megválaszthatják az inferencia helyét, modelljét és telepítési módját.

A megoldás részleteiről az érdeklődők a washingtoni NVIDIA GTC 206-os standjánál beszélhetnek az Equinix csapatával.