Az Arm az ügynöki AI teljes szoftveres ökoszisztémáját építi
Az Arm bemutatta, hogyan áll össze az ügynöki mesterséges intelligencia Arm64-alapú szoftveres környezete. Az Arm AGI CPU-t olyan feladatokra szánják, mint az adatlekérés, az eszközök futtatása és a többlépéses munkafolyamatok összehangolása.
- Az Arm AGI CPU-t ügynöki AI-munkaterhelésekhez fejlesztették.
- Az Arm szerint a processzor akár kétszeres rackenkénti teljesítményt nyújt x86-os szerverprocesszorokhoz képest.
- A Signal65 tesztje akár 45 százalékkal alacsonyabb homokozó-létrehozási késleltetést mért.
- A szoftveres ökoszisztémában többek között a LangChain, a Redis, az Elasticsearch és a vLLM támogatott.
- Az Arm Learning Paths gyakorlati útmutatókat kínál ügynökök és RAG-alkalmazások fejlesztéséhez.
Az ügynöki AI-nál a teljes rendszer számít
Az Arm október 21-én közzétett bemutatója szerint a generatív AI infrastruktúrájáról szóló beszélgetések középpontjában eddig főként a modellek álltak. Az ügynöki AI esetében az ügynökök adatokat keresnek meg, eszközöket hívnak meg, kódot futtatnak és többlépéses munkafolyamatokat hangolnak össze, ezért a modell körüli szoftverek szerepe is meghatározó.
Az Arm erre a feladatra fejlesztette ki az Arm AGI CPU-t, amely az Arm Neoverse processzorarchitektúrájára épül. A vállalat szerint a processzor a nagy párhuzamosságú ügynöki munkaterhelésekhez készült, ideértve a vezérlést, az eszközök futtatását, az adatlekérést és az alkalmazásszolgáltatásokat.
Az OCP Global Summit rendezvényen az Arm Fujitsu, a Meta és az OpenAI támogatásával új CPU-értékelési módszertant is bemutatott. A vállalat által ismertetett, függetlenül ellenőrzött eredmények szerint az Arm AGI CPU rackenként akár kétszeres teljesítményt nyújt a vezető x86-os szerverprocesszorhoz képest.
Keretrendszerek, adatbázisok és modellkiszolgálás
Az Arm szerint az ügynöki AI szoftveres rétege több területet fog össze: az ügynöki keretrendszereket és a vezérlést, az eszközök futtatását, a memóriát és az adatlekérést, a modellkiszolgálást, valamint a felhőnatív infrastruktúrát. A felsorolt nyílt forráskódú és kereskedelmi technológiák között szerepel a LangGraph, a LangChain, a Firecracker, a Redis, az Elasticsearch és a vLLM.
A különböző ügynöktípusok eltérő infrastruktúrát igényelnek. A kódolási ügynökök kódot fordítanak és teszteket futtatnak, ezért fontos számukra a processzorteljesítmény és a biztonságos elkülönítés. A vállalati munkafolyamatok ügynökei API-kapcsolatokra, adatbázis-tranzakciókra és vezérlésre támaszkodnak. A kutatási ügynököknél a keresés, az adatlekérés és a memória kezelése kerül előtérbe, míg a személyi asszisztenseknél az interaktív válaszidő fontos.
Az Arm Software Ecosystem Dashboard felületén a fejlesztők megtekinthetik a támogatott szoftvereket, verziókat és engedélyezési erőforrásokat. A vállalat emellett optimalizálja az Arm64 környezetet többek között a keresés, a vektoralapú adatbázisok és a modellkiszolgálás területén.
Mért eredmények és egy ügyfélszolgálati bemutató
A Signal65 független tesztelése szerint az Arm AGI CPU akár 45 százalékkal alacsonyabb homokozó-létrehozási késleltetést ért el az AMD EPYC 9965 processzorhoz képest. A Redis 8.10.1 vektorkeresési tesztjeiben az AWS Graviton5 az Arm által közölt eredmények szerint dolláronként 16 és 27 százalékkal több kontextuslekérést biztosított az x86-os rendszerekhez képest. Az 570 ezer dokumentumos adathalmazon 16 százalékos ár-teljesítményelőnyt mértek, a 3,3 millió dokumentumos, nagy terhelésű adathalmazon pedig 27 százalékot.
Az Arm egy többügynökös ügyfélszolgálati alkalmazással is demonstrálta az ökoszisztémát. A LangGraphre és LangChainre épülő alkalmazás egy CPU-n futó kis nyelvi modellt használja a beérkező kérések osztályozására, majd a megfelelő, találkozókat ütemező, panaszokat kezelő, termékinformációkat adó vagy visszatérítéseket intéző ügynökhöz irányítja azokat.
A fejlesztők az Arm Learning Paths gyakorlati útmutatóival ügynököket építhetnek a llama.cpp és a llama-cpp-agent használatával, elkülönített Firecracker microVM-ekben futtathatnak AI által generált kódot, RAG-alkalmazásokat készíthetnek LangChain és FAISS segítségével, valamint vLLM-alapú modellkiszolgálást telepíthetnek Arm-alapú platformokon. Az Arm közlése szerint ezek az eszközök a szoftvertámogatástól a valós ügynöki alkalmazások fejlesztéséig és optimalizálásáig segítik a munkát.
