A MindTopo azt méri, értik-e a multimodális modellek a térbeli kapcsolatokat

Mit vizsgál a MindTopo?

A Microsoft Research közlése szerint a MindTopo azt méri, hogy a multimodális modellek képesek-e olyan topológiai fogalmak kezelésére, mint a kapcsolódás, a bezártság, a sorrend, az elválasztás és a csomók. Ezek a tulajdonságok nem pontos távolságokról, szögekről vagy formákról szólnak, hanem olyan szerkezeti kapcsolatokról, amelyek akkor is fennmaradhatnak, ha az objektumok hajlanak, nyúlnak vagy deformálódnak.

A forrás példái szerint ilyen kérdés lehet, hogy két szoba kapcsolatban marad-e egy fal hozzáadása után, egy állat valóban kerítésen belül van-e, vagy egy kötél tényleg csomós-e, és nem csak annak látszik. A Microsoft Research szerint ezek a topológiai tulajdonságok az emberi térbeli megértés alaprétegéhez tartoznak a kognitív tudományban, miközben a multimodális AI-rendszerek értékeléséből nagyrészt hiányoznak.

A benchmark öt kategóriába rendezi a feladatokat. A folytonosság azt vizsgálja, hogy egy út vagy objektum megszakítatlan marad-e. Az elválasztás azt nézi, hogy közeli elemek egyetlen struktúrát vagy külön részeket alkotnak-e. A sorrend az elemek elrendezését követi egy útvonalon vagy átalakulás során. A bezártság azt teszteli, hogy egy határ létrehoz-e belső és külső teret. A csomók kategória pedig azt méri, hogy a kötelek valóban csomózottak vagy összekapcsoltak-e, szemben a puszta vizuális kuszasággal.

A felismerés és a tervezés külön vizsgázik

A MindTopo minden kategóriát két kognitív szinten értékel. A következtetési feladatokban a modell egy vagy több renderelt jelenetet vizsgál, majd választ ad a topológiai szerkezettel kapcsolatos kérdésre. Ilyen lehet, hogy két pont összeköttetésben áll-e egy labirintusban, a juhok a kerítésen belül vannak-e, vagy egy kötél tényleg csomós-e.

A tervezési feladatokban a modell egy szimulált környezettel lép interakcióba, és olyan műveleteket választ, amelyeknek létre kell hozniuk, meg kell őrizniük vagy meg kell szüntetniük egy adott kapcsolatot. A példák között szerepel csőelemek forgatása, elválasztó út rajzolása, blokkok átrendezése, mozgó ügynök csapdába ejtése és kötelek kibogozása.

A Microsoft Research szerint a környezetek csak legális műveleteket engednek, így egy modell nem oldhat meg egy kötélfeladatot azzal, hogy az egyik szálat egyszerűen átvezeti a másikon. A jelenetek ellenőrzött szimulátorokból származnak, amelyek pontos alapigazságot és állítható nehézséget adnak. Ez segít elkülöníteni, hogy a modell a vizuális bonyolultság miatt hibázik-e, vagy azért, mert nem tudja fenntartani az alapvető szerkezeti kapcsolatot az objektumok mozgása közben.

A statikus kép könnyebb, mint a cselekvés

A Microsoft Research szerint saját és nyílt súlyú modellek széles körén a teljesítmény következetesen erősebb volt a statikus következtetésben, mint az interaktív tervezésben. A közlés azt is kiemeli, hogy mindkét terület jóval az emberi teljesítmény alatt maradt. A különbség különösen akkor látszott, amikor a siker attól függött, hogy a modell sok műveleten keresztül megőrizzen egy kapcsolatot.

A hibaminták alapján a statikus feladatoknál a problémák gyakran az észleléssel kezdődtek, például a modell nem vett észre egy falat, nyílást vagy kereszteződést. A tervezési hibák viszont a forrás szerint gyakran azután jelentek meg, hogy a modell már megértette a jelenetet. Ilyenkor lokálisan hihető lépést választott, de nem követte annak későbbi következményeit, több fordulón keresztül elvesztette a feladat fonalát, vagy olyan akciót javasolt, amely sértette a környezet dinamikáját.

A kutatás generatív képi és videós eszközöket is vizsgált abból a szempontból, hogy segíthetnek-e a topológiai kapcsolatok fenntartásában. A képgenerálás néha segített, ha a lényeges kapcsolat egyetlen képkockán látható volt, de megbízhatatlan maradt keresztezések vagy lépések sorozatán keresztül. A videós előrejelzések gyakran megváltoztatták a topológiát, vagy megsértették a feladat dinamikáját.

Miért fontos ez a felhasználóknak és a piacnak?

A Microsoft Research a MindTopo-t kontrollált diagnosztikai eszköznek szánja erre a hiányosságra. A forrás szerint robotoknak, akadálymentesítési eszközöknek és interaktív asszisztenseknek nemcsak azt kell érteniük, hol vannak az objektumok, hanem azt is, mi marad összekötve, bezárva, sorrendben vagy csomózva a cselekvések során.

Ez a különbség gyakorlati szempontból azért lényeges, mert az interaktív rendszereknek a döntéseik következményeit is követniük kell. Ha egy modell felismer egy kapcsolatot egy képen, de több lépés után elveszíti azt, akkor a statikus képértés önmagában kevés a megbízható működéshez olyan környezetekben, ahol tárgyakat kell mozgatni, útvonalakat kell fenntartani vagy fizikai korlátokat kell tiszteletben tartani.

A Microsoft Research szerint a rés csökkentéséhez olyan modellekre lehet szükség, amelyek explicit topológiai állapotot hordoznak, vagy olyan világmodellekre, amelyek előrejelzései felépítésükből adódóan megőrzik a topológiát.