A Nutanix szerint a CPU-k kulcsszerepet kapnak az ügynöki MI-ben

Az ügynökök több feladatot végeznek az inference-nél

A Nutanix október 21-én közzétett bejegyzése szerint a nagy nyelvi modellek következtetése, vagyis az inference, továbbra is jellemzően GPU-kon fut. Az ügynöki MI-munkafolyamatok azonban ennél jóval többet igényelnek: több lépésből álló üzleti folyamatokat hajtanak végre, dinamikus kódot fordítanak, vállalati adatbázisokat kérdeznek le, és közvetlenül kapcsolatba lépnek üzleti alkalmazásokkal.

Ezek a feladatok a vállalat szerint jellemzően CPU-kon futnak. Egy ügynök ellenőrzött környezetben kódot hajthat végre, API-kat és vállalati eszközöket hívhat meg, adatokat kereshet üzleti rendszerekben, valamint koordinálhatja a munkafolyamat lépéseit. Az eredmények ellenőrzése, a szabályok és biztonsági kontrollok alkalmazása szintén része lehet ennek a folyamatnak.

A CPU a modell körüli végrehajtási hurkot koordinálja

A Nutanix értelmezése szerint a GPU előállíthatja a választ, de a modell futtatása előtti, közötti és utáni műveletek jelentős részét a CPU koordinálja. Ide tartozik a generált kód fordítása és futtatása, az eszközök meghívása, az értékelési ciklusok kezelése, valamint a szoftveres kimenetek ellenőrzése.

Az ügynökök a vállalati ERP-, CRM- és adatbázis-rendszerekkel, továbbá elemzési adatfolyamokkal is együttműködnek. A Nutanix szerint a vezérlési sík teljesítménye fontos a feldolgozási adatfolyamok, a modellválasztás, a visszakereséssel kiegészített generálás, vagyis a RAG, valamint a biztonsági korlátok koordinálásában.

A vállalat úgy látja, hogy amikor az egyidejű ügynöki munkafolyamatok száma 10-ről több tízezerre emelkedik, a CPU teljesítménye az MI-infrastruktúra egészének hatékonyságát befolyásoló tényezővé válik. Ha a CPU-réteg nem tud lépést tartani, a GPU-k köré épülő infrastruktúra is szűk keresztmetszetté válhat.

Nutanix és NVIDIA Vera közös infrastruktúrán dolgozik

Az NVIDIA Vera processzorcsaládját a gyártó az ügynöki MI és az adatfeldolgozás terheléseire tervezte, a nagy teljesítményű CPU-végrehajtásra és az energiahatékonyságra helyezve a hangsúlyt. A Nutanix az NVIDIA-val együttműködve támogatja a Vera-alapú terheléseket. A munka első lépése a Nutanix Kubernetes Platform Bare Metal támogatása a teljesítményérzékeny MI-gyári környezetekben.

A vállalat emellett vizsgálja a virtualizált Nutanix-környezetek támogatását is. Célja, hogy az informatikai csapatok ugyanazzal az egységes felügyeleti platformmal, tárolási rendszerrel és hipervizorral kezelhessék a Vera CPU-rendszereket, amelyeket hibrid és többfelhős infrastruktúrájukban is használnak.

A Nutanix tervei között szerepel a virtuális gépszintű elkülönítés a megbízhatatlan kód futtatásához, valamint az NVIDIA OpenShell integrációja a konténeres környezetek biztonságos ügynöki homokozójához. A vállalat az NVIDIA BlueField DPU-ira bízná a Nutanix Flow virtuális hálózatának és mikroszegmentációjának egy részét, így csökkentve a hálózati biztonsági feldolgozás CPU-ra jutó terhét.

A Nutanix Enterprise AI Agent Gateway szolgáltatása központi tokenköltség-láthatóságot, sebességkorlátozást és hozzáférés-szabályozást kínál az MCP-szerverekhez. A rendszer az NVIDIA Nemo Guardrails integrációját is támogatja a vállalat szerint, amely a promptinjekciós támadások felismerését és mérséklését segítheti.

A támogatás egyelőre fejlesztés alatt áll

A Nutanix szerint az ügynöki MI infrastruktúrájának megtervezésekor a modellek és a GPU-k mellett a CPU-kat, a tárolást, a hálózatot, a futtatási környezet biztonságát, az irányítást és az üzemeltetést is figyelembe kell venni. A Vera processzorok és a Nutanix Cloud Platform párosítása a vállalat célja szerint kiszámítható teljesítményt és alacsony késleltetésű alapot adhat az ügynökök futtatásához.

A Nutanix külön jelzi, hogy a Vera-alapú terhelések és környezetek tervezett támogatására vonatkozó állítások előretekintő kijelentések. Az érintett termékek és funkciók fejlesztési szakaszban lehetnek, elérhetőségük és megjelenési időzítésük változhat.