A robotok tanításából gyakran kidobják a legfontosabb adatokat
A robotikai adatgyűjtések során gyakran csak a sikeres próbálkozásokat őrzik meg, miközben a hibás epizódok a robotok gyenge pontjairól árulkodnak. A HumanSignal szerint a sikertelen kísérletek megtartása és címkézése a látás, nyelv és cselekvés összehangolására épülő modellek egyik hiányzó tanítási forrása lehet.
- A robotikai adatgyűjtésekben gyakran csak a sikeres próbálkozásokat őrzik meg.
- A hibás epizódok megmutatják, hol törékeny a robot viselkedése.
- A használható hibadatokhoz időpont, kategória, ok és helyreállítási művelet is tartozhat.
- A FailSafe, a RoboFAC és más új adathalmazok a hibákat tanítási jellé alakítják.
A sikertelen próbálkozások eltűnnek az adatokból
A HumanSignal 2026. augusztus 5-én közzétett elemzése szerint egy robotikai adatgyűjtési munkamenet rendszerint két adathalmazt termel. Az egyikbe a sikeres bemutatók kerülnek, a másikat a sikertelen kísérletek alkotják, ezt azonban sok csapat egyszerűen eldobja.
Teleoperáció közben például megcsúszhat a megfogó, felborulhat egy bögre, vagy a robot hibásan hajthat végre egy mozdulatot. Az operátor sikertelennek jelöli az epizódot, a gyűjtés pedig addig folytatódik, amíg elegendő sikeres bemutató nem áll rendelkezésre. A HumanSignal által vizsgált 1228, látás, nyelv és cselekvés kapcsolatával foglalkozó tanulmány alapján ez a gyakorlat a terület egyik jelentős hibája.
A siker önmagában törékeny viselkedést tanít
A sikerekre épülő viselkedésklónozás azt tanítja meg a modellnek, hogyan maradjon a szakértői viselkedés mintázatán belül. A valós végrehajtás során azonban egy rosszul időzített megfogás, helymeghatározási hiba vagy elmozduló tárgy olyan állapotba juttathatja a robotot, amelyhez nem látott példát a tanítás során.
Hibajavító jelzés nélkül a kezdeti eltérés tovább növekedhet, és megállíthatatlan, a tanítási adatokon kívül eső hibához vezethet. A meglévő manipulációs adathalmazok jellemzően csak helyes pályákat tartalmaznak, így nem adnak választ arra, mit kell tenni, amikor valami félremegy. A szöveges magyarázat önmagában szintén kevés, mert a VLA-modelleknek végrehajtható cselekvésekre van szükségük.
A HumanSignal több újabb adathalmazt is felsorol, amelyek ezt a hiányt célozzák. A RoboFAC 9440 hibás manipulációs pályát és 78623 kérdés-válasz párt tartalmaz. A FailSafe a hibákat végrehajtható helyreállítási műveletekkel párosítja, a ViFailback pedig 58126 hibadiagnosztikai vizuális kérdés-válasz párt kínál. A SAFE sikeres és sikertelen végrehajtásokból tanít hibadetektort.
Négy szintű címkézés kell a használható hibadatokhoz
A hibás epizódok önmagukban még nem jelentenek megfelelő tanítási adatot. A HumanSignal szerint a címkézésnek legalább négy rétege lehet. Az első a detektálás: meg kell jelölni, mikor történt a hiba, így elkülöníthető az útvonal sikeres része a sikertelen folytatástól.
A második a kategorizálás, például megcsúszott megfogás, ütközés, elejtett tárgy vagy érzékelési hiba szerint. A harmadik a kiváltó ok leírása, például hogy a megfogás rossz irányból közelítette meg a tárgyat. A legértékesebb réteg a helyreállítás, vagyis annak rögzítése, milyen végrehajtható művelettel lehet kijutni a hibás állapotból.
A HumanSignal szerint a gyűjtési folyamat során a teleoperátorok gyakran már most is létrehozzák ezeket a hibával és helyreállítással párosított példákat. Ha a rendszer nem dobja el a hibás epizódot, a sikeres és sikertelen próbálkozások összehasonlításra is használhatók. A címkézés automatizálása nehéz, mert a hiba okának megállapításához fizikai érintkezést, geometriát és a kezelő szándékát kell értelmezni. Ezért a HumanSignal szerint a megfelelően képzett operátorok megítélése továbbra is nélkülözhetetlen.
HumanSignal (Label Studio): The Failure Data You're Throwing Away
