A CoreWeave szerint az AI következő nagy kihívása a következtetés

A következtetés piaca gyorsabban nőhet a betanításénál

A CoreWeave október 22-én közzétett elemzése szerint az elmúlt években az AI-ról szóló párbeszédet elsősorban a nagyobb modellek, klaszterek és betanítási futtatások uralták. A vállalat szerint a figyelem egyre inkább a következtetésre, vagyis a már betanított modellek éles környezetben történő futtatására kerül.

A Futurum Group előrejelzése alapján az adatközponti AI-félvezetők következtetési piaca 2030-ra elérheti a 885 milliárd dollárt. Ez öt év alatt 7,4-szeres növekedést jelenthet, szemben a betanításra szánt piac 2,7-szeres bővülésével.

A modell kiválasztásakor korábban főként az intelligencia, a benchmarkok eredménye és a paraméterszám számított. Éles használatban viszont az üzemeltetési kérdések kerülnek előtérbe: elérhető-e a modell, gyorsan válaszol-e, megfelelő választ ad-e, és mennyibe kerül a működtetése. A CoreWeave a Futurum Group 2026-os, 820 AI-döntéshozó részvételével készült felmérését idézi, amely szerint a vállalatok 68 százaléka már túljutott a kísérletezési szakaszon.

Az ügynökök egyetlen kérdésből sok modellhívást indíthatnak

A következtetésen belül az ügynöki és érvelő rendszerek fejlődnek a leggyorsabban. A Futurum Group szerint ez a munkaterhelés 2026-ban éves szinten 219 százalékkal nőhet, a tavalyi mintegy 36 milliárd dollárról 2030-ra 546 milliárd dollárra. A CoreWeave szerint az ügynöki következtetés az évtized végére nagyobb lehet a teljes betanítási piacnál. A vállalat azt is írja, hogy a vállalatok több mint 40 százaléka már éles környezetben futtat valamilyen ügynököt.

Egy hagyományos chatbot egy válasz után felszabadítja a GPU-t. Egy ügynök ezzel szemben több lépésben dolgozhat, eszközöket hívhat meg, információt kereshet, ellenőrizheti saját eredményét, és párhuzamosan más ügynököket is elindíthat. Egyetlen kérés így több tucat vagy akár több száz modellhívást is eredményezhet.

Ez hosszabb GPU-foglalást, kiszámíthatatlanabb adatmozgást és egy feladaton belül 10-100-szor több tokent jelenthet egy szokásos lekérdezéshez képest. Egy lassú lépés az egész folyamatot feltarthatja. A biztonság szintén központi kérdés, mivel az ügynökök érzékeny adatokat kezelhetnek több lépésből álló munkafolyamatokban. A CoreWeave által idézett felmérés szerint a végrehajtási környezetek elkülönítése minden érettségi szakaszban a legfontosabb szempont.

Hónapokba telhet az infrastruktúra üzembe állítása

A CoreWeave szerint tízből hat vállalat több mint négy hónapot vár a GPU-kapacitás megvásárlásától az első éles kérés kiszolgálásáig. A leggyakoribb időtartam négy és hat hónap között van, és csak a vállalatok 6 százaléka jut el két hónapnál rövidebb idő alatt a működésig.

A vállalat az infrastruktúra bővítésének legnagyobb akadályaként az gyorsítók elérhetőségét említi, amelyet a cégek egyharmada nevezett meg első számú problémaként. A memória- és tárolókapacitás korlátaival együtt ez több mint a vállalatok felét érinti, emellett az áramellátás és a hűtés is korlátozó tényező lehet.

A beszámoló szerint az éles következtetésnél a benchmarkok önmagukban félrevezetők lehetnek. Valós forgalomban párhuzamos felhasználók, eltérő bemeneti hosszak, hideg indulások és megosztott infrastruktúra is megjelenik. Emiatt a P99-késleltetés, vagyis az az idő, amelyen belül a kérések 99 százaléka befejeződik, többszöröse lehet a tesztben mért értéknek. A CoreWeave ezt rendszerszintű problémának tekinti, amelyhez a késleltetést, az elérhetőséget, a költséget és a biztonságot együtt kell kezelni.

A CoreWeave teljes infrastruktúra-platformot kínál

A vállalat szerint az éles AI-következtetéshez a hardvertől az ügynökökig összehangolt infrastruktúra szükséges. A CoreWeave saját leírása alapján ezt NVIDIA GPU-khoz biztosított bare-metal hozzáféréssel, több csomópontos kiszolgálásra szánt hálózattal, valamint helyi GPU-gyorsítótárat használó AI Object Storage szolgáltatással támogatja. A kiszolgálási rétegben a KV-gyorsítótár kezelése, a kötegelés, az automatikus skálázás és az útválasztás alapértelmezettként jelenik meg.

A CoreWeave három telepítési utat emel ki: a gyors iterációt szolgáló Serverless Inference-t, a menedzselt Dedicated Inference-t, valamint a teljesebb önálló kontrollt kínáló Inference on CKS-t. A vállalat szerint ezek között a csapatok újraplatformozás nélkül válthatnak, az interfészek pedig keretrendszerfüggetlenek és nyílt forráskód-kompatibilisek.

A CoreWeave közlése szerint a következtetés és a betanítás határa is elmosódik, mivel a modellek a valós forgalomból származó jelek alapján megerősítéses tanulással és folyamatos finomhangolással javulhatnak. A vállalat ezért olyan infrastruktúrát épít, amely mindkét munkafolyamatot kezeli. Saját állítása szerint a szolgáltatás az MLPerf Inference v6.0 méréseiben vezető teljesítményt ért el NVIDIA GB200 és GB300 NVL72 rendszereken a DeepSeek-R1 esetében.