Nyílt Molmo 2 segíthet pontosabban követni a lazacokat

A kézi ellenőrzés lassítja a lazacok számlálását

Kai Van Brunt, az MIT 2025-ben végzett kutatója az ökológiai számítógépes látás területén dolgozik. A projektet az MIT BeeryLab vendéghallgatójaként készítette Sara Beery, az MIT Homer A. Burnell Career Development professzora és az elektrotechnikai, valamint számítástechnikai tanszék adjunktusa mellett.

Van Brunt kutatása a lazacok víz alatti szonárvideókon történő számlálásának javítására irányul. Az ilyen adatok segíthetnek a kutatóknak megérteni, hogyan változnak a lazacállományok, és információt adhatnak a természetvédelemhez, illetve a halgazdálkodás irányításához.

A pontos számláláshoz az egyes halakat végig kell követni a felvételeken. A kézi ellenőrzés időigényes, az automatikus követőrendszerek pedig elveszíthetik egy hal nyomát, összekeverhetik az egyedeket, vagy egyik halról a másikra válthatnak. A hibák javítása emiatt sok képkockán szükségessé teheti az előrejelzések manuális módosítását.

A Molmo2Fish nyelvi utasításokra is reagál

Van Brunt azt vizsgálta, lehetséges-e, hogy a kutató egyszerűen leírja, mi volt hibás a követésben, a modell pedig automatikusan korrigálja az eredményt. Így született meg a Molmo2Fish, a Molmo 2 lazacok szonárfelvételeire szabott változata.

Az Ai2 által 2026. október 13-án bemutatott Molmo 2 egy nyílt, képeket és videókat kezelő látás-nyelvi modell. A szervezet a modellt, a kódot és a tanítási adatokat is hozzáférhetővé tette. A modell képes egy kiválasztott alakzat vagy tárgy követésére videón, nyelvi leírás alapján azonosítani, mit kell követnie, valamint időben zajló eseményekről következtetni.

A szonárfelvételek jelentősen eltérnek azoktól a videóktól, amelyeken a Molmo 2 eredetileg tanult. A modell azonban már rendelkezett videós követési és nyelvi képességekkel. Van Brunt szerint a Molmo 2 volt az első kipróbált modell, amelynél kézenfekvővé vált, hogy a több objektum követését közvetlenül tanulható feladatként kezeljék.

A lazacvideókon végzett finomhangolás után a Molmo2Fish a korrekciók előtt nagyjából olyan eredményt ért el, mint egy speciális hal­követő rendszer, bár a teljesítmény folyónként eltért.

A nyílt modell kísérletezést tett lehetővé

A kutatók ezután olyan példákon tanították a Molmo2Fish-t, amelyekben szerepelt egy kezdeti előrejelzés, a módosítására vonatkozó utasítás és a javított eredmény. A felhasználó jelezhette például, hogy a rendszer kihagyott egy halat, vagy két különálló halat ugyanannak az egyednek tekintett. A modell ezután megpróbálta automatikusan korrigálni a követést.

A módszer különösen akkor működött jól, amikor a Molmo2Fish egy hagyományos hal­követő rendszer előrejelzéseit kapta meg. A két rendszer jellemzően eltérő típusú hibákat vétett, ezért a Molmo2Fish képes volt kijavítani a másik rendszer egyes tévedéseit. A nyelvi vezérlésnek azonban korlátai is voltak: világos utasítások mellett néhány hibát javított, a saját legerősebb előrejelzéseit viszont nehezebben tudta tovább javítani.

Van Brunt szerint a Molmo2Fish első lépés egy olyan modell felé, amely elég megbízható lehet a valós használathoz. A rendszer jelenleg kutatási projekt, és még nem telepítették. A Molmo 2 nyílt hozzáférése hozzáférést adott a modellhez, a kódhoz és a mögöttes tanítási folyamatokhoz. Ez segített megérteni, mit tanult már a modell, és hogyan érdemes előkészíteni az új adatokat, miközben a kód megkönnyítette a teljesen eltérő videótípushoz való igazítást.

Az Ai2 szerint az ilyen nyílt kiadások lehetőséget adnak arra, hogy a kutatók meglévő képességeket új tudományterületeken próbáljanak ki. Van Brunt a jövőben azt vizsgálná, hogyan segíthetnek a videót és nyelvet egyaránt kezelő modellek a kutatóknak mintázatok megtalálásában és leírásában, miközben változnak a kutatási kérdéseik.