A CNCF Sandboxba kerül az llm-d, az AI-inferencia nyílt infrastruktúrája
A Cloud Native Computing Foundation Sandbox projektjei közé kerül az llm-d, a több gyorsítós infrastruktúrán futó, elosztott következtetés összehangolására és skálázására készült nyílt forráskódú projekt. A CoreWeave szerint a lépés közelebb viheti a termelési AI-inferencia szabványos, felhőnatív infrastruktúrává válását.
- Az llm-d megkezdte a CNCF Sandbox folyamatát.
- A projekt elosztott AI-inferencia összehangolására és skálázására készült.
- Az llm-d több Kubernetes-komponenssel, köztük a KServe-rel és a Prometheusszal működik együtt.
- A CoreWeave, a Red Hat, az IBM, a Google és az NVIDIA alapító közreműködőként támogatta a projektet.
Semleges alapot kap az llm-d
A CoreWeave 2026. október 2-án közölt bejegyzése szerint az llm-d megkezdte a Cloud Native Computing Foundation Sandbox folyamatát. A CNCF a nyílt forráskódú projekt számára átlátható irányítást, közösségépítési keretet és semleges együttműködési környezetet biztosít.
A projektet a CoreWeave, a Red Hat, az IBM, a Google és az NVIDIA alapító közreműködőként támogatta. A CoreWeave tavaly májusban csatlakozott az llm-d-hez, mert álláspontja szerint a termelési inferenciát nyíltan kell fejleszteni. A vállalat szerint a CNCF-be kerülés túlmutat a projekt irányításán, mivel szélesebb iparági együttműködést tehet lehetővé.
Az llm-d célja, hogy az elosztott inferenciamunkafolyamatok elhelyezését és skálázását intelligensebbé tegye. A projekt a különböző környezetekben történő telepítést is támogatni kívánja, így a vállalatok nyilvános felhőben, saját adatközpontokban és a peremhálózaton is futtathatják modelljeiket.
Az AI-inferencia saját összehangolási réteget igényel
A CoreWeave szerint az AI-inferencia eltér a hagyományos felhőmunkafolyamatoktól. Állapotfüggő, érzékeny a hardverre, és a nem hatékony működtetés költséges lehet. Az AI-ügynökök terjedésével az inferencia egyre több vállalati folyamatban jelenik meg, az ügyfélszolgálattól és a szoftverfejlesztéstől a belső működésig.
A méretezés két fontos kihívást vet fel. Az egyik a gazdaságosság, vagyis hogy a teljesítmény és a költség összhangban legyen az alkalmazás értékével. A másik a hordozhatóság, mivel a vállalatok többféle környezetben szeretnék futtatni modelljeiket anélkül, hogy egyetlen szolgáltatóhoz vagy eszközkészlethez kötődnének.
A Kubernetes jelentősen átalakította a szoftverek telepítését és kezelését, az llm-d szerint azonban a nagyléptékű inferencia új infrastruktúraigényeket támaszt. Egy kérés költsége és viselkedése függhet például a prompt hosszától, a gyorsítótár helyétől, valamint attól, hogy a modell a számításigényes előfeldolgozási vagy a memóriaigényes dekódolási szakaszban van.
Az llm-d a magasabb szintű kiszolgálókeretrendszerek és az alacsonyabb szintű inferenciamotorok közé helyezett, erre a célra kialakított összehangolási réteget kínál. A projekt a Kuberneteshez kapcsolódó KServe, Gateway API, LeaderWorkerSet és Prometheus komponensekkel is együttműködik. A cél az elosztott inferencia kezelhetőbbé és jobban megfigyelhetővé tétele.
A nyílt fejlesztés a termelési használatra épít
A CoreWeave szerint az llm-d értékét a mögötte álló együttműködés is adja. A projekt fejlesztőket, iparági szereplőket és akadémiai támogatókat hozott össze azzal a közös meggyőződéssel, hogy a termelési inferencia fejlődését nyílt és együttműködő infrastruktúra gyorsíthatja.
A vállalat a projektben szerzett tapasztalatait a termelési inferencia működtetéséből meríti. A CoreWeave állítása szerint ez a fejlesztéstől a termelési telepítésen át a Kubernetesen futó, nagyléptékű elosztott inferenciáig többféle igényt lefed. A vállalat szerint a csapatoknak a növekvő követelményekkel párhuzamosan több irányítást, teljesítményhangolást és üzemeltetési felelősséget kell szerezniük, miközben megőrzik az architekturális folytonosságot és rálátást a költségekre.
Az llm-d CNCF Sandboxba lépése ezért a CoreWeave értelmezésében szélesebb utat nyit a közreműködéshez. A projekt közössége olyan infrastruktúra kialakításán dolgozik, amely a termelési inferenciát hozzáférhetőbbé, hordozhatóbbá és hatékonyabbá teheti az AI-infrastruktúra különböző környezeteiben.
