A CoreWeave közvetlenül a felhő mérnökeihez kapcsolja az ügyfeleket
A CoreWeave elindította a Direct-to-Expert szolgáltatást, amely közvetlen kapcsolatot biztosít az ügyfelek és a CoreWeave Cloudot építő mérnökök között. A vállalat szerint az elsőként válaszoló szakember jellemzően a probléma megoldásáig is végigviszi az ügyet.
- A Direct-to-Expert közös csatornán köti össze az ügyfeleket a CoreWeave mérnökeivel.
- A mérnökök a probléma megoldásáig részt vesznek a hibakeresésben.
- A CoreWeave ARENA valós modellek és munkafolyamatok tesztelésére szolgál.
- A Mission Control élő infrastruktúraadatokkal támogatja a hibák feltárását.
- Az IBM példájánál a tervezést a változó, burstös forgalomhoz igazították.
Közös csatorna, közvetlen mérnöki segítség
A CoreWeave október 7-i bejelentése szerint a CoreWeave Direct-to-Expert olyan közös csatornán működik, ahol az ügyfél csapata közvetlenül jelezheti a problémákat. A vállalat ígérete szerint egy ember perceken belül válaszol, majd bevonja azt a mérnököt, aki az érintett rétegért felelős.
A szolgáltatás a tárolás, a hálózat és az ütemező, vagyis a feladatok futtatását koordináló rendszer közötti összefüggéseket is kezeli. A CoreWeave szerint ezek a hibák gyakran nem különálló területeken jelentkeznek. Egy tárolási szűk keresztmetszet például NCCL-időtúllépésként is megjelenhet.
A vállalat célja, hogy az ügyfélnek ne kelljen minden alkalommal újra bemutatnia a környezetét. A mérnök a közös beszélgetésben marad a hiba elhárításáig, így a CoreWeave szerint a támogatás inkább egy dedikált csapattárssal való együttműködéshez hasonlít, mint hagyományos hibajegykezeléshez.
A támogatás már az éles futtatás előtt elkezdődik
A Direct-to-Expert nem az első éles incidensnél kezdődik. A CoreWeave mérnökei már a munkaterhelés felmérésében, a fürt méretezésében és a ténylegesen használni kívánt hardveren végzett tesztelésben is részt vesznek.
Ennek helyszíne a CoreWeave ARENA, egy strukturált labor, ahol az ügyfelek saját modelljeiket és adatfeldolgozási folyamataikat éles használatra szánt mesterségesintelligencia-infrastruktúrán próbálhatják ki. A cég közlése szerint több száz tesztet végeztek, és volt olyan eset is, amikor arra jutottak, hogy az adott munkaterhelésnek nincs szüksége arra a kapacitásra, amellyel az ügyfél eredetileg számolt.
Az IBM példájánál a vállalat sandbox-munkaterhelései változó és kiszámíthatatlan forgalmat produkáltak, ezért nem illettek a hagyományos kapacitástervezéshez. A CoreWeave mérnökei az IBM meglévő hálózati és hozzáférési beállításaihoz igazították a tervet, és azzal dolgoztak, hogyan lehet a helyi hardvert, valamint a további CoreWeave Sandbox-kapacitást együtt használni.
A CoreWeave a saját infrastruktúráján szerzett tapasztalatot kínálja
Peter Salanki, a CoreWeave technológiai igazgatója szerint a vállalat mérnökei ugyanazokat a problémákat kezelik, amelyekkel az ügyfelek találkoznak. A közlemény szerint a CoreWeave infrastruktúráján tanították az első generációs élvonalbeli modelleket, miközben a fürtöket korábban nem látott méretben üzemeltették.
A CoreWeave állítása szerint a 10 vezető alapmodell-szolgáltatóból 9 használja a vállalat infrastruktúráját. A cég az ipari ügyfelek saját kihívásaira is kitér, például a meglévő adatvagyonra, a szabályozott környezetre és a biztonsági ellenőrzésekre.
A fizikai mesterséges intelligencia, a robotika és a szimulációs munkafolyamatok esetében a Direct-to-Expert két irányból ad támogatást. Az infrastruktúramérnökök az ütemezési, tárolási és hálózati réteget kezelik, míg a Physical AI Field Engineering szakemberei autóipari, repülőipari vagy gépészeti háttérrel közvetlenül az ügyfél csapatába kapcsolódhatnak be.
Élő adatokra épülő hibakeresés és indulás az ARENA-ban
A CoreWeave szerint a szolgáltatás első válasza emberi mérnöktől érkezik. A vállalat ezt azzal indokolja, hogy egy hosszú futás után leálló tanítási feladat megoldásához az adott környezet ismerete szükséges, nem elég egy tudásbázisból kiválasztott válasz.
A CoreWeave Mission Control már a kapcsolatfelvétel előtt figyeli az infrastruktúrát. A cég szerint a rendszer a szilícium szintjéig és a csomópontok közötti kapcsolatokon át lát rá a környezetre, automatikusan javít bizonyos hibákat, és összehasonlítható munkafolyamatok teljesítménye alapján különíti el a normál eltérést a visszaeséstől.
A legtöbb Direct-to-Expert együttműködés a CoreWeave ARENA-val indul. Az ügyfelek ARENA Pass igénylésével kérhetnek vezetett értékelést, amely után a CoreWeave minősíti a jelentkezést, majd a munkaterheléshez illeszkedő szakértőhöz kapcsolja őket. A vállalat szerint így a bővítés előtt teljesítményről, költségről és üzemeltetésről is szerezhetnek gyakorlati tapasztalatot.
