Videós orvosi konzultációkban tesztelte AMIE rendszerét a Google Research

A szöveges párbeszéden túl lépett az AMIE

A Google Research közlése szerint az Articulate Medical Intelligence Explorer, röviden AMIE eddig klinikai érvelésre és párbeszédre szolgáló kutatási AI-rendszerként szöveges diagnosztikai beszélgetésekben, differenciáldiagnózis-támogatásban, valamint szimulált szakértői értékelésekben szerepelt.

Az új bejelentés lényege az AMIE (Video), egy valós idejű videós konfiguráció, amely a Google szerint a Gemini és a Project Astra alapjaira épül. A rendszer szinkron klinikai videókonzultációkat folytat, érzékeli a nem verbális klinikai jeleket, virtuális fizikális vizsgálati manővereken vezeti végig a betegszereplőket, és közben diagnosztikai érvelést végez.

A kutatók szerint a szöveges felületek fontos korlátja, hogy elveszítik a klinikai gyakorlat vizuális és auditív dimenzióit. A betegnek írásban kell leírnia az összetett testi tüneteket, miközben a tisztán szöveges rendszer nem látja és nem hallja azokat a jeleket, amelyek a klinikai gondolkodást segíthetik.

Három ügynök dolgozik párhuzamosan

Az AMIE (Video) aszinkron, többügynökös architektúrát használ. A Google Research indoklása szerint egy videós orvosi beszélgetésben egyszerre kell természetes sebességgel válaszolni, klinikailag érvelni, valamint folyamatosan feldolgozni a képi és hanginformációkat. A közlemény szerint ezt jelenleg egyetlen ügynök nem tudja megfelelően teljesíteni.

A rendszerben a Talker agent a beteg felé irányuló, alacsony késleltetésű beszédinterakcióért felel. A Planner agent a háttérben frissíti a klinikai érvelést, a differenciáldiagnózisokat és a kezelési terveket, valamint azonosítja az információhiányokat. A Perception agent a hang- és videófolyamot elemzi, és klinikailag releváns nem verbális jeleket keres, például látható distresszt, fizikális eltéréseket vagy auditív jelzéseket.

A Google Research szerint ez a szétválasztott felépítés teszi lehetővé, hogy a rendszer megőrizze a természetes beszélgetési késleltetést, miközben diagnosztikai érvelést és audio-vizuális észlelést is végez. A vállalat azt írja, automatizált értékelések alapján mindhárom ügynök hozzájárult a klinikai mérőszámok és a párbeszédminőség javulásához.

Randomizált videós vizsgálat 100 klinikai forgatókönyvvel

A klinikai kompetencia értékelésére a Google Research nagyszabású, randomizált Objective Structured Clinical Examination, vagyis OSCE vizsgálatot végzett szinkron videókonzultációs felületen. A teszt 100 klinikai forgatókönyvet fedett le öt területen: kardiopulmonális, hasi, fej, szem, fül, orr és torok, neurológiai és pszichiátriai, valamint mozgásszervi állapotok.

A vizsgálatban 15 képzett betegszereplő 300 standardizált konzultációt hajtott végre három ágon. Az egyik az AMIE (Video), a másik az AMIE (Text), vagyis egy csak szöveges alapváltozat, a harmadik pedig a PCP (Video), amelyben tíz board-certified primary care physician, azaz minősített alapellátó orvos konzultált ugyanazon a videós felületen.

Az összes konzultációt 20 tapasztalt alapellátó orvosból álló független panel értékelte. Az értékeléshez általános klinikai kompetenciaskálákat és az egyes forgatókönyvekre szabott, részletes pontozási kritériumokat használtak.

Mit mutattak az eredmények

A Google Research szerint az AMIE (Video) a fő klinikai kompetenciákban, az anamnézisfelvétel alaposságában, a diagnosztikai pontosságban, a menedzsment megfelelőségében és a kommunikáció minőségében az alapellátó orvosokkal egy szinten szerepelt a klinikai értékelők megítélése alapján. A közlemény szerint az AMIE (Video) ezeken a dimenziókon elérte vagy meghaladta az AMIE (Text) teljesítményét is.

A videós változatot átlagosan szignifikánsan magasabbra értékelték mind az alapellátó orvosoknál, mind a szöveges AMIE-változatnál a fizikális jelek előhívásában és abban, hogy proaktívan vezette a betegszereplőket virtuális vizsgálati manővereken. Ez a forrás szerint az esetspecifikus észlelési és vizsgálati pontszámokban is megjelent.

A betegszereplők a szinkron videós felületet a szöveges csevegéssel szemben részesítették előnyben. A forrás szerint ez arra utal, hogy a videó nem egyszerű kényelmi kiegészítés, hanem a klinikai kommunikáció és az észlelhető tünetek szempontjából is fontos lehet az ilyen kutatási rendszerek fejlesztésében.

Mit jelenthet ez a felhasználóknak és a piacnak

A bejelentés egyelőre kutatási eredményről és szimulált konzultációkról szól. A Google Research nem közölt termékbevezetést, árat vagy általános elérhetőséget. A cég ugyanakkor azt írja, hogy az ilyen rendszerek képesek lehetnek növelni az orvosi szakértelemhez és ellátáshoz való hozzáférést, miközben a vizuális és auditív jeleket is bevonják a klinikai párbeszédbe.

A felhasználók számára a legfontosabb következtetés a forrás alapján az, hogy a videós orvosi AI-k fejlesztése a puszta szöveges tünetleírásnál gazdagabb interakció felé halad. A piac szempontjából a Google Research vizsgálata azt mutatja, hogy a jövőbeli teleegészségügyi AI-rendszerek értékelésénél nemcsak a válaszok tartalma, hanem a látott és hallott klinikai jelek kezelése is központi mérce lehet.