Így taníthatják meg a robotokat, hogy megértsék az emberek kérdéseit

Közös mentális modellre van szükség

Egy konfliktuszónában működő robotot az operátor úgy irányíthat, hogy közben nem lát folyamatos videóképet. A rossz jelátvitel miatt csak beszélt kérdéseket tehet fel, például arról, járt-e már valaki az épületben, mire használták az adott helyiséget, vagy láthatók-e idegen megszállásra utaló jelek.

A USC Institute for Creative Technologies kutatói, David Traum és Kallirroi Georgila szerint ilyen helyzetben az a központi kérdés, hogyan hangolható össze két alapvetően különböző intelligencia célja. Traum a USC Viterbi School of Engineering és a USC Stevens School of Computing and Artificial Intelligence számítástechnikai kutatóprofesszora, valamint az ICT Natural Language Dialogue Group vezetője. Georgila ugyanezen a területen kutató docens, szakterületei közé tartozik a természetes nyelvi párbeszéd, a megerősítéses tanulás, a beszédfeldolgozás és a felhasználói szimuláció.

Traum a közös alap, vagyis a common ground fontosságát emeli ki. Ez azt jelenti, hogy a párbeszéd nem pusztán információcsere. A résztvevők közös mentális modellt alakítanak ki arról, mi hangzott el, mit tudnak mindketten, mi bizonytalan, és milyen célt próbálnak elérni.

Robotirányítás folyamatos videó nélkül

A kutatók az amerikai hadsereg kutatólaboratóriumával, az ARL-lel együttműködve vizsgálták, hogyan azonosíthatja és közölheti a robot azokat a megfigyeléseket, amelyek választ adnak az ember kérdéseire. A kutatás a MAGMaR konferencián Best Paper Award díjat kapott.

A kísérletben egy gyenge jelű, belső térben zajló felderítési helyzetet modelleztek. A résztvevők nem láttak folyamatos videófolyamot. A robot mozgását egy térképen követhették, és a küldetés közben időnként állóképeket kérhettek, miközben beszélt párbeszéddel irányították a rendszert.

„A robotok nem emberek, ezért nem pontosan úgy beszélnénk velük, mint az emberekkel”, mondta Traum a USC beszámolója szerint. Hozzátette, hogy ezzel párhuzamosan azt is meg kell oldani, hogyan lehet olyan robotot tervezni, amely az emberek által elvárt módon képes kommunikálni.

A csapat úgynevezett Wizard of Oz módszert használt. A robot mozgását az egyik kutató irányította, míg egy másik a résztvevővel folytatott párbeszédet kezelte. Így megfigyelhették, hogyan tesznek fel az emberek kérdéseket, hogyan tisztázzák a félreértéseket, és miként utalnak a robot által már felkeresett helyekre.

A NOVA az emberi ítélettel együtt teljesített jobban

Az interakciókból létrehozták a Video-SCOUT adathalmazt, amely hatvan, egyenként 20 perces robotfelderítési videót és a hozzájuk tartozó emberi párbeszédeket tartalmazza. A USC és az ARL kutatói erre építve fejlesztették ki a Non-Event Oriented Video Assessments, röviden NOVA nevű AI-keretrendszert.

A NOVA célja, hogy a felvételekből az adott kérdéshez leginkább kapcsolódó képkockákat keresse meg. A rendszert más AI-keretrendszerekkel is összevetették. Georgila szerint az eredmények alapján a rendszerek emberi értékeléssel kombinálva jobban teljesítettek, mint amikor csak emberek vagy csak automatizált modellek dolgoztak.

Az eredmény a kutatók tágabb munkájába illeszkedik, amely több mint két évtizede vizsgálja az emberek és robotok közötti párbeszédet, a beszéd, a látás és a térbeli információk kapcsolatát, valamint több ember és intelligens ügynök közös munkáját. A vizsgált helyzetek közös tanulsága, hogy a kommunikációt akkor kell kialakítani, amikor az emberek, a gépek és a különböző információs csatornák eltérő tudással rendelkeznek.

Georgila szerint a szimuláció lehetővé teszi, hogy a társalgási AI-ügynökök még bevetés előtt, biztonságos környezetben tanuljanak a hibákból. Ez különösen fontos lehet olyan helyzetekben, ahol a robotokat távolról, korlátozott információ alapján irányítják, és a végső értelmezést az ember végzi.