A NEC VLM-jei a katasztrófák apró jeleit is felismerik a képeken
A NEC két új látás és nyelvi modelltechnológiát fejlesztett ki, amelyek katasztrófahelyszínekről készült képeken az apró károkat is képesek azonosítani, miközben új káreseményekkel bővíthetők. A vállalat szerint a megoldásokkal a vizuális ellenőrzéshez szükséges idő körülbelül hét óráról kevesebb mint egy órára csökkenthető.
- A NEC két új VLM-technológiát fejlesztett katasztrófahelyszíni képek elemzésére.
- A rendszer a kép legfeljebb 10 százalékát elfoglaló apró károkat is azonosíthatja.
- Új káresemények adhatók hozzá a modellhez a korábbi felismerési képességek megőrzésével.
- A NEC ellenőrzésében 5035 képről átlagosan 544-re csökkent a további emberi ellenőrzést igénylő felvételek száma.
- A gyakorlati alkalmazást a 2027-es pénzügyi évre célozzák.
Apró károk felismerése a helyszíni képeken
A NEC Corporation október 14-i közleménye szerint a fejlesztés két technológiára épül: a VLM-based Local Region Understanding nevű megoldásra és a Continual Learning for VLMs rendszerre. A kutatás a japán Tóhoku Egyetem Okatani Laboratóriumával közösen zajlott.
A látás és nyelvi modellek, vagyis VLM-ek, természetes nyelvű lekérdezésekkel képesek nagy mennyiségű képet átvizsgálni. Ez a katasztrófák után lehet hasznos, amikor akár több tízezer helyszíni felvételt kell feldolgozniuk a szakembereknek. A NEC szerint a hagyományos VLM-ek azonban könnyen figyelmen kívül hagyhatják azokat a károkat, amelyek csak az image területének kis részén láthatók.
A vállalat saját technológiája a képen található objektumok régióinformációit is bevonja a modell jellemzőinek kinyerésébe. Így a rendszer nemcsak a teljes képet, hanem a kis területeket és keskeny régiókat is vizsgálja. A NEC ellenőrzése alapján a legfeljebb a kép 10 százalékát elfoglaló részleteket olyan pontossággal tudja azonosítani, amelyet a hagyományos VLM-ek nagyjából 30 és 40 százalék közötti képrészleteknél érnek el.
Új káresemények hozzáadása a korábbi tudás megőrzésével
A második technológia lehetővé teszi, hogy a VLM új típusú károkat és eseményeket tanuljon meg anélkül, hogy jelentősen romlana a korábban felismert jelenségek azonosítása. A rendszer a kiegészítő tanítási adatok mellett a modell által a tanítás előtt létrehozott, változatos leírásokat is felhasználja.
Ennek köszönhetően később új keresési szempontok is hozzáadhatók, például egy földrengést követő árvíz vagy egy helyi sajátosság. A képek szűrése így az újonnan megtanult katasztrófaesemények, valamint a már ismert jellemzők, például a hegyek és folyók alapján is elvégezhető. A NEC szerint ehhez nem szükséges nagy mennyiségű korábbi tanítási adatot előkészíteni.
A kutatási eredményeket az ECCV 2024 és az ECCV 2026 nemzetközi számítógépes látási konferenciákon is elfogadták és bemutatták. Az első technológiáról szóló tanulmány az objektumok tudatos figyelembevételével végzett kép és szöveg alapú keresést, a második a folyamatos tanulást vizsgálta.
Hét óráról 45 percre csökkenhet az ellenőrzés ideje
A NEC egy 5035, a nagy kelet-japán földrengés archív felvételeiből származó, járműre szerelt kamerával készített képet használt az ellenőrzéshez. Az adathalmaz 12 katasztrófához kapcsolódó eseményt tartalmazott. A vállalat számítása szerint képenként öt másodperces vizuális ellenőrzéssel az összes felvétel átnézése körülbelül hét órát venne igénybe.
A technológiák alkalmazásával az egyes célzott eseményekhez kiválasztott képek száma átlagosan 5035-ről 544-re csökkent. Ez az eredmény a NEC szerint nagyjából 45 perces ellenőrzési időt jelent, vagyis kevesebb mint egy órát.
A gyakorlatban a rendszer például a „földcsuszamlás törmeléke által elzárt utak” jellegű szöveges keresésekhez használható. A kezdeti károk felmérése mellett segíthet a megrongálódott utakról és épületekről készült képek rangsorolásában, így a helyszíni vizsgálatok sorrendjének meghatározásában is.
A NEC 2027-es pénzügyi évre tervezi a gyakorlati alkalmazást
A NEC közlése szerint a technológiákat helyi önkormányzatok és más szervezetek mentési, illetve helyreállítási munkájának támogatására szánják. A gyakorlati bevezetést a 2027-es pénzügyi évre célozzák.
A vállalat a jövőben a földi helyszíni képek mellett nagy területet lefedő megfigyelési adatok, köztük optikai és szintetikus apertúrájú radaros, vagyis SAR-műholdfelvételek elemzésével is kombinálná a megoldásokat. A NEC további kutatásokat tervez a katasztrófák bekövetkezése előtti megelőzés támogatására.
