Az Equinix NVIDIA és Together AI együttműködésével gyorsítja az AI-inferenciát

Az infrastruktúrától a gyártási inferenciáig

Az Equinix szeptember 30-án ismertette az Equinix Inference Exchange szolgáltatást, amelyet a NVIDIA-val és a Together AI-jal közösen épít. A vállalat szerint a megoldás lerövidíti az utat a GPU-k használatától a gyártási környezetben futó inferenciáig.

Az Equinix értelmezésében egyre több vállalati AI-projekt lép át a kísérleti szakaszból a termelési használatba. Ilyenkor fontos kérdéssé válik, hogy hol fut az inferencia, mivel ez hatással van a teljesítményre, a költségekre és az irányításra. A rendszereknek közel kell működniük a felhasználókhoz, az adatokhoz és az alkalmazásokhoz, miközben több felhőt, modellt és szolgáltatót is ki kell szolgálniuk.

Az Inference Exchange ezt a döntést az Equinix adatközpontjaira, a NVIDIA Enterprise Reference Architectures megoldásaira és a Together AI inferenciaplatformjára építve támogatja. Az Equinix Fabric a felhőkhöz, hálózatokhoz és AI-szolgáltatókhoz biztosít kapcsolatot. A cég szerint így biztonságos, alacsony késleltetésű összeköttetés alakítható ki a vállalatok által már használt ökoszisztémával.

Három vállalati felhasználási mód

Az Equinix három fő felhasználási területet emel ki. A metropoliszok peremén végzett inferencia a felhasználókhoz és az adatokhoz közelebb futtatná a munkaterheléseket, alacsonyabb késleltetésű AI-élményeket célozva. A működést az Equinix fizikai biztonsága, üzemeltetési mérete és globális elérése támogatja.

A nyílt modellekre való átállás lehetővé teszi, hogy a vállalatok zárt, saját tulajdonú modellekről nyílt forráskódú alternatívákra helyezzék át munkaterheléseiket éles környezetben. A Together AI platformja ugyanazokon az Equinix Fabric-kapcsolatokon keresztül érhető el, amelyeket más szolgáltatókhoz is használnak. Az Equinix szerint ez költségkontrollt és a szolgáltatói függőség csökkentését segítheti.

A szuverén AI olyan helyszíneken futtatná az AI-munkaterheléseket, amelyek megfelelnek az adatlokalizációs és szuverenitási követelményeknek. Így szabályozható, hogy hol dolgozzák fel az adatokat és hol fut az inferencia.

A három partner eltérő szerepe

Az Equinix AI-ra felkészített adatközpontokat, energiaellátást, fejlett hűtést és a bevezetés utáni üzemeltetést biztosítja. Ezek az infrastruktúrák az Equinix Fabricen keresztül kapcsolódnak a felhőkhöz, hálózatokhoz és AI-szolgáltatókhoz.

A NVIDIA a Enterprise Reference Architectures megoldásaival és gyorsított számítástechnikai képességeivel adja a rendszer alapját. Az Equinix szerint ezek az AI-infrastruktúra áteresztőképességének növelését és a tokenenkénti költség csökkentését célozzák.

A Together AI az inferenciaplatformot működteti. A szolgáltatás több bérlős telepítéseket kínál a megosztott hatékonyság érdekében, illetve dedikált, egybérlős környezeteket a fenntartott kapacitást igénylő munkaterhelésekhez. OpenAI-kompatibilis API-ja lehetővé teszi, hogy a csapatok modellváltáskor az integrációk átírása nélkül dolgozzanak tovább.

Az Equinix Inference Exchange 2027 első negyedévétől lesz elérhető. A megoldást október 20. és 22. között a berlini NVIDIA GTC rendezvény 7-es csarnokának 7037-es standján mutatják be.