A Comet Opik megfigyelési platformja elérhető a Nebius AI Cloudban

Az Opik a Nebius alkalmazáskatalógusába került

A Comet szeptember 24-i közleménye szerint az Opik mostantól elérhető a Nebius AI Cloud Applications között. A vállalat ezt a Comet és a Nebius közötti szélesebb együttműködés első lépéseként írja le. A cél, hogy az AI-rendszerek megfigyelését közelebb hozzák ahhoz a felhőinfrastruktúrához, amelyen ezeket a rendszereket felépítik és futtatják.

A Comet szerint az AI-rendszerek összetettebbé válásával egyre fontosabbá vált az ügynökök viselkedésének nyomon követése, értékelése és ismételt fejlesztése. A hosszabb feldolgozási láncok, az önállóbban működő modellek és az éles környezetben bekövetkező, nehezen észlelhető hibák miatt a mérnöki csapatoknak részletesebb rálátásra van szükségük.

A Nebius saját meghatározása szerint AI-ra épülő felhőszolgáltató, amely egyetlen platformon támogatja az AI-modellek betanítását, kiszolgálását és fejlesztését. A vállalat az adatközpontoktól és egyedi hardverektől kezdve a hálózaton, tárhelyen és vezérlésen át a fejlesztői platformokat, a menedzselt következtetést és az ügynökinfrastruktúrát is kezeli.

Teljesebb rálátás az AI-ügynökök működésére

Az Opik a Comet nyílt forráskódú platformja nagy nyelvi modellek és AI-ügynökök megfigyelésére. A rendszer képes követni a nagy nyelvi modellek hívásait és az ügynökök nyomvonalait, valamint naplózni a bemeneteket, a kimeneteket és a köztes következtetési lépéseket.

Az AI-csapatok egyedi ügynökfuttatásokat vizsgálhatnak, összehasonlíthatják a különböző modellverziók viselkedését, és még azelőtt felismerhetik a teljesítmény romlását, hogy az elérné az éles környezetet. A Comet szerint ez egyetlen modell és több, egymással összekapcsolt komponensből álló, többügynökös rendszer esetén is használható.

Az Opik nyílt forráskódú jellege lehetővé teszi, hogy a csapatok a Nebiuson ugyanazzal az eszközzel kezdjenek dolgozni, amelyet a Comet szerint nagy és gyorsan növekvő fejlesztői közösség használ. Később igény szerint a teljesen menedzselt platformra válthatnak. A két vállalat közlése szerint a rendszert a Nebius infrastruktúráján tesztelték és optimalizálták, a mérnöki csapatok pedig együtt dolgoztak az integráción.

Az értékelés és a modelléletciklus is egy helyre kerülhet

A megfigyelés mellett az Opik értékelési keretrendszert is kínál. A csapatok egyedi mérőszámokat határozhatnak meg, automatizált pontozást futtathatnak nagy léptékben, és összevethetik a teljesítményt a különböző kísérletek között. A Nebius Applications révén ezeket az értékeléseket közvetlenül a betanítási és következtetési feladatok mellett lehet futtatni.

A Nebius ügyfelei a Comet szélesebb platformjához is hozzáférhetnek. Ennek része a kísérletkezelés, amely a betanítási futásokat, hiperparamétereket, mérőszámokat és kódot követi. A modellregiszter a modellek verziózását, előkészítését és élesítését támogatja, teljes visszakövethetőséggel az alapul szolgáló kísérletekhez. A produkciós monitorozás az éles környezetbe került modellek felügyeletére szolgál.

A Comet szerint a Nebiuson betanító csapatok így egyetlen technológiai stackben kezelhetik a folyamatot az első finomhangolási futástól a monitorozott éles AI-ügynökig. A Comet már elérhető a Nebius AI Cloud Applications katalógusában, így az ügyfelek megkezdhetik a nyomvonalak rögzítését, az értékelések futtatását és az ügynökök monitorozását.