Saját videóin tanítható a NVIDIA Cosmos 3 Edge a Roboflow-ban

Műveletek felismerése időbélyegekkel

A Roboflow új projekt­típust vezetett be Action Recognition néven, amelyben a Cosmos 3 Edge áll a videóalapú műveletfelismerés mögött. A felhasználó megjelölheti, hogy egy videóban mikor kezdődik és mikor ér véget az egyes műveletek végrehajtása, majd néhány lépésben betaníthatja a modellt.

A NVIDIA Cosmos 3 Edge a Roboflow szerint alapból is jól következtet fizikai jelenetekről, egy általános modell azonban nem ismeri az adott gyártósort, alkatrészeket vagy a kezelők által követendő sorrendet. A finomhangolással olyan kérdések vizsgálhatók, mint hogy a kezelő minden összeszerelési lépést végrehajtott-e, mennyi ideig tartottak az egyes műveletek, illetve kimaradt, megismétlődött vagy rossz sorrendben történt-e valamelyik lépés.

Így készül a saját modell

A projekt létrehozása után a felhasználó feltöltheti a videókat, lehetőleg abból a kameranézetből és olyan megvilágítás mellett, amelyet éles környezetben is használni fog. A Roboflow szerint néhány tucat, a teljes feladatot bemutató rövid videó elegendő lehet a kezdéshez.

A címkézéshez nem határolókereteket kell rajzolni. A videószerkesztő idővonalán minden műveleti osztály saját sort kap, a felhasználó pedig a művelet kezdetétől a végéig kijelöl egy szakaszt. A szakaszok szélei képkockapontosan is módosíthatók. A Roboflow azt javasolja, hogy a címkézés az első mozdulatnál kezdődjön, és a művelet befejeződésénél érjen véget, az üres időszakokat pedig hagyják ki.

A címkézett videókból létrehozott adatkészleten a „Train on This Version” lehetőséget, majd a „Cosmos 3” modellt és az „Edge” méretet kell kiválasztani. A szolgáltatás alapértelmezett beállításai a legtöbb projekthez használhatók. A videóablak hossza, a képkockaszám, a mintavételi sebesség és a felbontás külön is módosítható. Az alapértelmezett beállítás 64 képkockát, másodpercenként 4 képkockás mintavételt és 360p-s képfelbontást használ, egy ablak pedig 16 másodpercnyi videót fed le.

Gyártási folyamatok ellenőrzése

A Roboflow szerint a Cosmos 3 Edge a V-JEPA 2.1 modellnél lassabban tanítható, viszont több mozgási és időbeli kontextust használ. Ez akkor lehet hasznos, amikor két lépés egyetlen képkockán hasonlónak látszik, a mozgásuk azonban eltér.

A tanítás befejezése után a modell a „Models” alatt jelenik meg. Az elkészült modell azonosítójával a Serverless Cloud API-n keresztül új videó küldhető be, amelyre a rendszer a felismert műveletek idővonalát adja vissza. Ezt össze lehet vetni a standard működési eljárással, így ellenőrizhető a lépések jelenléte, sorrendje és célideje. Az eredmény továbbítható irányítópultra, gyártósori riasztásba vagy gyártásirányítási rendszerbe.

A megoldás az összeszerelés mellett olyan feladatokra is alkalmazható, amelyek meghatározott sorrendet követnek, például készletezésre, csomagolásra, gépátállásra vagy egy munkaállomáson végzett minőségellenőrzésre. A Roboflow közlése szerint a bejelentés 2026. október 20-án jelent meg, a szolgáltatás használatához pedig Action Recognition projektet kell létrehozni, videókat címkézni és a Cosmos 3 Edge modellt betanítani.