Ultralytics Agents: vizuális munkafolyamatokat építhetünk YOLO-modellekkel

A felismeréstől a következő lépésig

Az Ultralytics szeptember 15-én mutatta be az Ultralytics Agents szolgáltatást, amely az Ultralytics Platform részeként érhető el. A vállalat szerint egy számítógépes látási modell betanítása csak a folyamat egyik része. Ugyanilyen fontos annak meghatározása, mi történjen a modell előrejelzése után: a rendszer mentsen el egy képet, kérjen további kontextust, küldjön riasztást, vagy gyűjtse össze az ellenőrzést igénylő példákat.

Az Agents ezt egy vizuális vásznon teszi lehetővé. A felhasználók blokkokat helyezhetnek el, összekapcsolhatják az egyes lépéseket, és meghatározhatják, mi történjen, ha egy kép megfelel egy adott feltételnek. A munkafolyamat használhat hivatalos YOLO26 modellt, a munkaterületen betanított modellt vagy meglévő Platform-telepítést.

YOLO, látásnyelvi modellek és feltételes műveletek

Az Agents a YOLO előrejelzéseit osztály- vagy bizonyossági feltételek alapján szűrheti. A kiválasztott képeket a rendszer elküldheti egy látásnyelvi modellnek, adatkészletbe gyűjtheti, Slack-csatornán jelezheti, vagy megjelenítheti az eredményt.

Egy lehetséges folyamat először YOLO26-tal futtatja át a képet, majd ellenőrzi, hogy legalább egy személy látható-e rajta. Csak az ilyen képek kerülnek tovább a kiválasztott látásnyelvi modellhez, amely leírást készít a jelenetről. Ha a feltétel nem teljesül, a leírás létrehozására szolgáló lépés nem fut le. Ezzel a csapatok szabályozhatják, mely képek jutnak el a további feldolgozásig, és mikor történjen külső modellhívás.

A szolgáltatás előre elkészített sablonokat is kínál. A YOLO → VLM Monitor a releváns képek kiválasztására szolgál, a Collect Uncertain Detections bizonytalan felismeréseket gyűjt felülvizsgálatra, a Capture and Alert pedig elment egy képet és Slack-értesítést küld, ha teljesül egy meghatározott feltétel. A sablonok módosíthatók, így a felhasználók saját képeket, modelleket, feltételeket, utasításokat, cél-adatkészleteket és integrációkat választhatnak.

A bizonytalan képekből új tanítóadat lehet

Az Ultralytics Agents az üzembe helyezett modellek és a modellfejlesztés közötti kapcsolatot is erősíti. A valós környezetből származó képek olyan körülményeket tárhatnak fel, amelyek a tanításkor hiányoztak vagy kevésbé voltak jelen. A csapatok osztály- vagy bizonyossági feltételekkel szűrhetik az eredményeket, majd a kiválasztott eredeti képeket egy cél-adatkészletbe gyűjthetik.

Az így összegyűjtött képek címkézés nélkül, a cél-adatkészlet tanítási részében jelennek meg. A felhasználók ezután az Ultralytics Platform annotációs szerkesztőjében felülvizsgálhatják és felcímkézhetik őket, majd az adatok alapján újrataníthatják és újratelepíthetik a modellt. A vállalat szerint ez közvetlenebb utat ad a nehéz példák felismerésétől a következő modellverzió elkészítéséig.

Korai hozzáféréssel használható

Az Agents gyártási ellenőrzésben hibák mentésére és a minőségi csapatok értesítésére, logisztikában bizonytalan felismerések gyűjtésére, kiskereskedelemben képek szűrésére, valamint biztonsági helyzetekben további jelenetleírás kérésére használható. Egy feltételhez több művelet is kapcsolható, így ugyanaz a kép egyszerre kerülhet adatkészletbe és indíthat Slack-értesítést.

A vizuálisan összeállított munkafolyamatból létrejövő Python-kód megtekinthető, ami az Ultralytics szerint átláthatóbbá teszi a technikai megvalósítást. A kisebb folyamatok a megosztott próbakörnyezettel tesztelhetők, nagyobb adathalmazokhoz és hosszabb futásokhoz pedig dedikált Platform-erőforrások választhatók.

Az Agents jelenleg korai hozzáférésben érhető el. A személyes munkaterületen a Settings > Profile menüpontban kell engedélyezni az Early access lehetőséget, ezt követően az Agents az oldalsávból nyitható meg.