Az Equinix, az NVIDIA és a Together AI az AI-következtetést célozza

A GPU-tól az éles következtetésig

Az Equinix szeptember 30-i bejelentése szerint az Equinix Inference Exchange az NVIDIA-val és a Together AI-jal közösen készül. A megoldás célja, hogy rövidebbé tegye az utat a GPU-k használatától az éles, vállalati AI-következtetésig.

A vállalat szerint az, hogy hol fut a következtetés, hatással van a teljesítményre, a költségekre és az irányításra. Ahogy a vállalati AI-projektek a kísérleti szakaszból a termelési használat felé haladnak, a következtetési feladatokat a kiszolgált felhasználókhoz, adatokhoz és alkalmazásokhoz közel kell elhelyezni, több felhő, modell és szolgáltató környezetében.

Az Equinix Inference Exchange ehhez az elhelyezési döntéshez kínál infrastruktúrát és kapcsolódást. A platform az NVIDIA Enterprise Reference Architectures megoldásait, a Together AI több mint 200 nyílt forráskódú modellt kínáló következtetési platformját, valamint az Equinix adatközpontjait kapcsolja össze. Az összeköttetést az Equinix Fabric biztosítja a felhőkhöz, hálózatokhoz és AI-szolgáltatókhoz.

Három vállalati felhasználási mód

Az első felhasználási mód a nagyvárosi peremhálózati következtetés. A vállalatok az AI-feladatokat a felhasználókhoz és az adatokhoz közel futtathatják, alacsony késleltetésű AI-élményekhez. Az Equinix ehhez adatközponti infrastruktúrát, fizikai biztonságot, üzemeltetési kapacitást és globális elérést biztosít.

A második lehetőség a nyílt modellekre való átállás. A Together AI platformján a vállalatok zárt, saját tulajdonú modellekről nyílt forráskódú alternatívákra helyezhetik át a termelési munkaterheléseket. A platform ugyanazokon az Equinix Fabric-kapcsolatokon keresztül érhető el, amelyeket más szolgáltatókhoz is használnak. A Together AI OpenAI-kompatibilis API-ja lehetővé teszi a modellek cseréjét az integrációk újraírása nélkül.

A harmadik terület a szuverén AI. A munkaterhelések olyan helyszíneken futtathatók, amelyek megfelelnek az adatlokalizációs és szuverenitási követelményeknek. Így a vállalatok ellenőrizhetik, hol dolgozzák fel az adatokat és hol fut a következtetés.

Infrastruktúra, számítás és platform egyben

Az Equinix AI-ra felkészített adatközpontokat, energiaellátást, fejlett hűtést és a működés második napjától szükséges üzemeltetést biztosító infrastruktúrát ad a rendszerhez. Az NVIDIA Enterprise Reference Architectures megoldásai és gyorsított számítási kapacitása az Equinix szerint az AI-gyárak áteresztőképességének növelését és a tokenenkénti költség csökkentését szolgálja.

A Together AI erre építve futtatja a következtetési platformot. A vállalatok több bérlős környezetet használhatnak a megosztott hatékonyság érdekében, vagy dedikált, egybérlős telepítést választhatnak azokhoz a munkaterhelésekhez, amelyek számára lefoglalt kapacitás szükséges.

Az Equinix a megoldást alapértelmezetten nyitott és semleges architektúraként írja le. Adaire Fox-Martin, az Equinix vezérigazgatója és elnöke szerint az Equinix Inference Exchange „semlegességre épülő, alapértelmezetten nyitott, kivételes teljesítményre tervezett architektúrákat tesz lehetővé”.

Bemutató Berlinben, indulás 2027-ben

Az Equinix az NVIDIA GTC Berlin rendezvényen mutatja be a megoldást. A bemutató október 20. és 22. között, a 7-es csarnok 7037-es standján lesz.

A vállalat által közölt infrastruktúra-adatok szerint az Equinix hálózata több mint 280 adatközpontot, 77 nagyvárosi térséget és 230 felhőkapcsolati pontot foglal magában, valamint több mint 10 500 összekapcsolt vállalkozást ér el. Az Equinix közlése szerint a tíz legnagyobb AI-modellszolgáltató közül nyolc, a tíz legnagyobb AI-felhő közül pedig kilenc az Equinixnél települt.

Az Equinix Inference Exchange a tervek szerint 2027 első negyedévétől lesz elérhető. A felhasználók számára ez olyan infrastruktúrát jelenthet, amely egy helyen kapcsolja össze a számítási kapacitást, a modelleket és az AI-munkaterhelésekhez szükséges felhő- és hálózati szolgáltatókat.