Helyben emlékezik a Reachy robot a Qdrant Edge segítségével

A robot saját memóriát kapott

A Reachy Mini a Pollen Robotics és a Hugging Face nyílt forráskódú robotja, amely Raspberry Pi számítógépen, 4 GB memóriával működik. A Qdrant fejlesztői azt mutatták be, hogyan lehet a robotot olyan házigazdává tenni, amely később név szerint köszönti a visszatérő embereket, emlékszik egy korábbi beszélgetésre, és el tudja mondani, mit látott, amíg a felhasználó távol volt.

Egy nyelvi modell önmagában csak a saját kontextusában szereplő információkat ismeri. Újraindítás után nem tudja, kivel találkozott korábban, hosszabb beszélgetésnél pedig a régebbi részek kieshetnek a kontextusból. A Reachy esetében a memóriát a Qdrant Edge tárolja közvetlenül a roboton. A Qdrant szerint ennek adatvédelmi előnye, hogy a helyiségekről és az emberekről készült képek addig nem hagyják el az otthont, amíg a felhasználó ezt külön nem engedélyezi.

A keresés a bemutatóban körülbelül fél milliszekundum alatt futott le 500 memóriaelemen, és akkor is működött, amikor nem volt Wi-Fi-kapcsolat.

A memória képeket, beszélgetéseket és arcokat kezel

A Reachy működését egyetlen feldolgozási ciklus fogja össze. A Whisper a beszédet szöveggé alakítja, a kamera képét érzékelő és arcfelismerő modellek elemzik, a Gemma 4 pedig válaszol, vagy a három eszköz egyikét hívja meg. A remember a memóriában keres, a camera új képet készít, a move pedig gesztust indít.

A rendszer két beágyazási modellt használ: a képekhez a SigLIP2-t, a szövegekhez a bge-smallt. A beszélgetések akkor kerülnek a memóriába, amikor betelik a kontextus. Új képet akkor ment, ha megváltoznak a látott tárgyak, vagy a robotot arra kérik, hogy nézzen körül. Az arcokhoz akkor rögzít adatot, amikor a Reachy megtanulja az adott személy nevét.

A Qdrant Edge olyan vektoros keresőmotor, amely könyvtárként tölthető be a saját folyamatba. Nem szükséges hozzá külön szerver vagy hálózati kapcsolat. A tárolás alapegysége egy lemezen lévő, önálló könyvtárként működő shard. A Reachy három ilyen területet használ. A memory/ a beszélgetéseket és a képkockákat tartalmazza, a people/ személyenként tárolja az arcokat, a knowledge/ pedig 62, a Qdrantra és a robotra vonatkozó tényt kezel.

Az arcfelismerésnél a rendszer a kameraképben látható arcot az adott személy legjobban illeszkedő korábbi felvételéhez hasonlítja. 0,35 feletti eredménynél a Reachy név szerint köszönt, 0,25 alatt megkérdezi, ki áll előtte, a két érték között pedig vár a biztosabb azonosításra.

A keresésnél a kérdés megfogalmazása is számít

A fejlesztők első hibája az volt, hogy a „Mit láttál ma?” kérdésre a robot új képet készített, ahelyett hogy a korábbi emlékei között keresett volna. A megoldás a remember eszköz leírásának módosítása lett. A leírásban külön jelezték, hogy a múlt időben feltett kérdések a memóriakereséshez tartoznak, és példakérdéseket is megadtak. A megfelelő eszköz kiválasztása 23-ról 26-ra javult a 26 tesztkérdésből, miközben a kamera kiválasztása nem romlott.

A második probléma maga a keresés volt. A „Mit láttál?” kérdés nem nevezett meg konkrét tárgyat, a vektoros keresés viszont mindig visszaad egy legközelebbi találatot. Mivel minden képkocka rövid leírása az „Láttam...” fordulattal kezdődött, a rendszer a közös igére illesztett. A Qdrant ezért egy üres képkockát is bevezetett, amelynek leírása: „Láttam valamit”. Egy találat csak akkor számít, ha ezt az üres rekordot és a beállított küszöbértéket is felülmúlja.

Ha nincs megfelelő találat, a robot a napból mintavételez képeket. Először azt a képkockát választja, amelynek képi vektora a legközelebb áll a kérdéshez, ezután mindig olyan újabb képet keres, amely a már kiválasztottaktól a leginkább különbözik. Így az egyetlen esti jelenet egymást ismétlő négy képkockája helyett négy eltérő jelenetet tud bemutatni.

A modellek egy laptopon futnak, az adatok a roboton maradnak

A bemutatóban a Gemma 4 önmagában 2,5 GB helyet foglal a kulcsérték-tár gyorsítótár, vagyis a KV cache előtt. A Reachy körülbelül 3 GB szabad memóriája ezért nem elegendő a teljes modell futtatásához, így a modellek egy, a robot mellett lévő laptopon működnek, helyi hálózaton keresztül. A vektorok és a hozzájuk tartozó adatok tárolása, valamint a keresés továbbra is a roboton történik.

A visszakeresett képek és szövegek eljutnak a laptopra, hogy a Gemma 4 feldolgozhassa őket, az adatok azonban a Qdrant beszámolója szerint nem kerülnek az internetre. A fejlesztők következő lépése a Reachy Remembers Reachy Mini alkalmazásként való csomagolása, hogy a robot tulajdonosai egy telepítéssel helyi memóriát adhassanak az eszköznek. Addig a kód a reachy-edge-memory adattárban érhető el.

A Qdrant szerint a bemutatott megoldás telefonokon, okosszemüvegeken és más, saját memóriát tároló eszközökön is alkalmazható. A vállalat a Qdrant Edge használatát ingyenesnek írja le, a technikai leírás pedig azt is bemutatja, hogyan skálázható a keresés 250 000 memóriára ugyanazon a Raspberry Pi-n.