Az Ultralytics Platform már élesben is figyeli a látásmodelleket
Az Ultralytics Platform új monitorozási funkciói egy helyen mutatják az élesben futó látásalapú mesterségesintelligencia-modellek végpontjainak állapotát, teljesítményét és előrejelzéseit. A rendszer a problémás példák adatállományba mentését is támogatja, hogy azok a későbbi modellfejlesztésben felhasználhatók legyenek.
- A Platform az előző 24 óra kéréseit, hibáit és P95 késleltetését is mutatja.
- Az egészségellenőrzések és naplók segítik a végpontok hibakeresését.
- A Monitoring lap élő előrejelzési példákat és statisztikákat kínál megfelelő dedikált végpontokon.
- A kiválasztott termelési képek ellenőrzés után új tanítási adatok lehetnek.
- Az ideiglenes példák és statisztikák a szolgáltatási példány memóriájában tárolódnak.
Egy helyen követhető a végpontok állapota
Az Ultralytics szeptember 15-i közleménye szerint a Platform monitorozási eszközei az Ultralytics YOLO-modellek telepített végpontjait figyelik. A Deploy oldal központi áttekintőként szolgál, ahol az előző 24 óra HTTP-kérései, aktív telepítései, hibaarányai és P95 késleltetése látható.
Az adatok alapján a csapatok követhetik, hogyan változik a végpontok forgalma, észrevehetik a lassabb válaszokat, valamint felderíthetik a megemelkedett HTTP-hibaarányt. Az egyes végpontok állapotát egészségjelző mutatja. A kártyás, tömör vagy rendezhető táblázatos nézet az összehasonlítást is segíti. Az Ultralytics szerint a hibaaránykártya akkor kap kiemelést, amikor az érték meghaladja az 5 százalékot.
Egészségellenőrzés, naplók és élő előrejelzések
Minden kész telepítéshez tartozik egészségellenőrzés és hozzáférés a legutóbbi naplókhoz. Az egészségellenőrzés megmutatja, hogy a végpont válaszol-e, és mekkora a válasz késleltetése. Az Ultralytics szerint ez arra is használható, hogy a nullára skálázott végpontot felmelegítsék, mielőtt éles forgalmat kapna.
A naplók időbélyegeket, súlyossági szinteket, üzeneteket és HTTP-adatokat tartalmaznak. Ezek segíthetnek a sikertelen kérések, a váratlan válaszok és a teljesítményváltozások vizsgálatában.
A Monitoring lap további adatokat kínál az üzemidő alapján számlázott, fizetős dedikált végpontokon, ha azok monitorozásra alkalmas futtatókörnyezetet használnak. Az ideiglenes példák galériája feldolgozott képek gördülő mintáját, valamint az előrejelzések rárajzolt jelöléseit mutatja. A statisztikák között szerepelhet a feldolgozott képek és előrejelzések időbeli alakulása, az átlagos következtetési idő, a gyakori osztályok, a képenkénti előrejelzések száma, a konfidenciaértékek és azok trendjei, az előrejelzések méretei, valamint a térbeli hőtérképek.
A konfidencia a modell bizonyosságát jelzi, nem az előrejelzés helyességét. A pontosság értékeléséhez a csapatoknak a példákat ellenőrzött címkékkel kell összevetniük.
A termelési példák visszakerülhetnek a tanításba
Ha egy kép nehéz körülményt, szokatlan objektumot vagy lefedettségi hiányt jelez, a megfelelő jogosultsággal rendelkező munkatársak elmenthetik egy kompatibilis adatállományba. A kép és az előrejelzések ezután a szokásos adatbevitel folyamatán mennek keresztül, ahol a címkék ellenőrizhetők, mielőtt az adatot tanításra használják.
Az Ultralytics ezt összekapcsolt munkafolyamatként írja le: a csapatok adatállományból taníthatnak YOLO-modellt, dedikált végpontra telepíthetik, figyelhetik az állapotát és előrejelzéseit, majd a hasznos vagy problémás termelési példákat visszamenthetik az adatállományba. Ezután az ellenőrzött adatokkal újrataníthatják és újratelepíthetik a modellt.
Az operatív monitorozás, beleértve a kéréseket, késleltetést, hibákat, egészségellenőrzéseket és naplókat, a telepítési felületről érhető el. Az élő előrejelzési statisztikákhoz és ideiglenes példákhoz kész, fizetős dedikált végpont és monitorozásra alkalmas futtatókörnyezet szükséges. A példák és statisztikák a kiszolgáló példány memóriájában maradnak, ezért törlődhetnek leállítás, újraindítás, újratelepítés, erőforrásváltás vagy modellcsere után. A megtartandó példákat ezek előtt adatállományba kell menteni.
Ultralytics: Ultralytics Platform Monitoring: Keep vision AI deployments on track
