Megjelent az llm-d 1.0, olcsóbbá teheti a nagyüzemi AI-kiszolgálást

A termelési használatra szánt alap

Az llm-d projekt közreműködői október 20-án jelentették be az 1.0-s verziót. A projektet 2025-ben a Red Hat, az IBM, a Google Cloud, a CoreWeave és az NVIDIA alapította, irányítása pedig jelenleg a Cloud Native Computing Foundationhöz (CNCF) tartozik.

Az llm-d célja, hogy a szervezetek hatékonyabban telepítsék és skálázzák a nagy nyelvi modellek következtetési feladatait modern infrastruktúrákon. Az IBM közleménye szerint az AI termelési használata sok esetben legalább akkora kihívást és költséget jelenthet, mint maguknak a modelleknek a fejlesztése. Az 1.0-s kiadás ezért a teljesítmény, az áteresztőképesség, a memóriahatékonyság és az infrastruktúra költségeinek kezelésére összpontosít.

A rendszer több modellkiszolgálót is támogat, köztük a vLLM-et és az SGLangot. A beépített képességek között szerepel az előtag-gyorsítótár, a terhelésérzékeny útválasztás, a kulcsérték-gyorsítótár tehermentesítése, a beolvasási és generálási szakasz szétválasztása, valamint a szakértők széles körű párhuzamosítása.

Ügynökalapú feladatokra és folyamatos működésre készül

Az ügynökalapú alkalmazások nagy mennyiségű kontextust érnek el és használnak újra, miközben párhuzamos ügynökök kiszámíthatatlan terhelési csúcsokat okozhatnak. Az IBM szerint a kontextus kezelése több erőforrást is fogyaszthat, mint a végső válasz előállítása, ezért a késleltetés, az áteresztőképesség és a költség meghatározó tényezővé válik.

Az llm-d 1.0 új képességei közé tartozik a több bérlőt támogató szolgáltatásminőség. A prioritás- és méltányosságalapú forgalomszabályozás a közlemény szerint lehetővé teszi, hogy a késleltetésre érzékeny kérések és a hirtelen megugró ügynöki terhelések ugyanazon a rendszeren fussanak anélkül, hogy kiszorítanák egymást.

A kiadás magas rendelkezésre állású útválasztót, tartalék üzemmódot és fokozatos frissítést is kínál, így a karbantartás alatt is folytatódhat a forgalom kiszolgálása. A beolvasási és generálási replikák egy logikai egységként kezelhetők, összehangolt telepítéssel és frissítéssel. A munkamenet-alapú útválasztás a többfordulós beszélgetéseket a gyorsítótárazott kontextus közelében tarthatja, a fordítási prioritás és a Responses API állapotkezelése pedig segítheti a kontextus újrafelhasználását.

Mérési eredmények és bővülő ökoszisztéma

Az IBM közlése szerint az llm-d-t már használják modellfejlesztők, felhőszolgáltatók, infrastruktúraszállítók és nagyvállalatok. A projektben több mint 500 közreműködő vesz részt 25-nél több szervezettől.

Egy IBM Research-féle felhasználási esetben nyílt modellek és az llm-d segítségével a kvantumos hibajavító hardverek vizsgálatához 11,5-szer alacsonyabb következtetési költséget értek el egy teljesen saját tulajdonú konfigurációhoz képest. A kutatók körülbelül 98 százalékos előtag-gyorsítótár-találati arányról és nagyjából 0,11 dolláros, egymillió tokenre vetített vegyes kiszolgálási költségről számoltak be.

Egy másik bemutatóban az llm-d segítségével a GLM 5.2, egy körülbelül 753 milliárd paraméteres nyílt súlyú modell futtatását vizsgálták széles körben használt NVIDIA GPU-kon. Több száz párhuzamos ügynöki munkamenet mellett a rendszer csúcsterhelésen percenként több mint 6,6 millió kimeneti tokent kezelt, és legfeljebb 3000 egyidejű kódoló ügynököt szolgált ki előzetes megszakítások nélkül. Az IBM szerint a felhőbérleti díjakkal számolva a költség tokenenként 5-10-szer alacsonyabb lehetett az egyenértékű kereskedelmi API-árazásnál.

A projekt CNCF-es irányítása és széles iparági részvétele nyílt alternatívát kínálhat az egyre összetettebb AI-infrastruktúra kezelésére. A közösség a közlemény szerint az új hardverekhez és modellekhez igazítja majd a szoftveres réteget.