A Netflix AI-val bővíti a hibakeresést adatfeldolgozó rendszereiben

Naponta akár 100 ezer munkafolyamat hibázik

A Netflix adat- és gépi tanulási szakemberei naponta több millió munkafolyamatot futtatnak olyan rendszereken, mint a Titus, a Spark, a Trino és a Druid. Csúcsidőszakban ezek közül körülbelül 100 000 sikertelenül zárul. A hiba észlelése azonban csak a folyamat kezdete: a mérnököknek több naplóból kell kikeresniük a hasznos jeleket, el kell dönteniük, hogy az ok a saját kódjukban vagy a platformon található, majd választaniuk kell az újrapróbálkozás, az átállítás és a további vizsgálat között.

A Netflix első megoldása a Pensive volt. A rendszer a sikertelen munkafolyamatok naplóit gyűjtötte, reguláris kifejezésekkel és kézzel írt Java-szabályokkal azonosította a hibákat, majd újrapróbálkozási vagy helyreállítási útmutatást adott többek között a Maestro számára. A vállalat szerint ezzel a hibák körülbelül 50 százaléka önkiszolgálóvá, egyes esetekben pedig automatikusan kezelhetővé vált.

A szabályok a már ismert mintáknál pontosak, de minden új hibatípushoz szakemberi felismerés, új szabály és folyamatos karbantartás kell. Egy három hónapos időszakban a Pensive körülbelül hétmillió hibabesorolást dolgozott fel, ezek mintegy fele azonban az ismeretlen kategóriába került.

A Pensive AI a napló teljes lemásolása helyett tartományt jelöl ki

A Pensive AI két kiegészítő útvonalat használ. Az automatikus hibakivonás minden hibánál lefut, és gyors első áttekintést ad. Az igény szerint indítható hibakeresés ennél mélyebbre megy, a naplók tüneteit vizsgálja, valamint a nagy nyelvi modell tudását és következtetési képességét is bevonja.

A hibakivonásnál a rendszer megszámozza a napló sorait, majd a modellnek {lineNumber, text} rekordokat ad. A modell a hibatartomány első és utolsó sorát jelöli ki, a Pensive pedig a saját naplómásolatából állítja össze a megjelenített részletet. Így nem kell a teljes, akár több száz soros hibaüzenetet újragenerálni, ami csökkenti a költséget és javítja a válaszidőt. A megjelenített szöveg közvetlenül az eredeti naplóból származik, miközben a kiválasztott tartomány pontosságát külön mérik.

A Maestro munkafolyamatainál az AI-alapú kivonás automatikusan elindul egy lépés hibája után. A teljes Pensive-válasznak bele kell férnie a Maestro sikertelen lépéseknél érvényes, 90 másodperces utófeldolgozási időkorlátjába. A naplóforrások feldolgozása párhuzamosan zajlik, a késő válaszok pedig kimaradnak, így az összesített kérés időben lezárható.

Fokozatos átállás többféle felhasználói felületen

Az AI-kivonás több hibát és naplóforrásonként külön hibajegyzéket ad vissza, az eredeti naplókra mutató hivatkozásokkal. Ez eltér a régi adatmodelltől, amely egyetlen, összesített hibaüzenetet tartalmazott. A Netflix ezért az új adatmezőt a régi mellett vezette be, és mindkettőt továbbra is előállítja.

A Data Portal, a Netflix adatfolyamait figyelő felülete, az átállás során előnyben részesítette az AI által kivont hibákat, és csak hiányuk esetén használta a régi értéket. A vállalat nem töltötte vissza az új adatokat a korábbi hibákhoz, részben a naplók megőrzési korlátai miatt. A Data Portal sikertelen Maestro-lépéseket kezelő felülete már az új mezőt olvassa, míg a lekérdezésszerkesztő, a Workbench notebookjai és egyes Pensive-t használó Slack-kliensek még a régi kivonási útvonalat használják.

A Pensive AI Debugging programozási felületen, MCP-n és a Data Portalon keresztül érhető el. A teljes diagnosztika kérésre indul, mert válasza több tíz másodpercet vagy akár egy percet is igénybe vehet, szemben a néhány másodperces hibakivonással. A Netflix szerint az AI-alapú kivonás már a hibák 100 százalékát lefedi, beleértve a korábbi Pensive számára ismeretlen eseteket. Egy megfigyeléses összehasonlításban azok a sikertelen lépések, amelyeknél nem használták a Pensive AI-t, átlagosan 321 százalékkal több kézi naplófeltárási művelettel jártak. A vállalat hangsúlyozza, hogy ez nem oksági bizonyíték.