Oak, a Speechmatics többnyelvű orvosi beszédfelismerő modellje
A Speechmatics bemutatta az Oak nevű orvosi beszédfelismerő modellt, amely több mint 55 nyelven kezeli a több beszélős, nyelvet váltó klinikai beszélgetéseket. A cég belső tesztjeiben az Oak mind a 11 vizsgált nyelven első helyen végzett az orvosi kifejezések felismerésében.
- Az Oak több mint 55 nyelven támogat orvosi beszédfelismerést.
- A modell előzetes nyelvválasztás nélkül követi a beszélgetés közbeni nyelvváltást.
- A Speechmatics tesztjeiben az Oak mind a 11 vizsgált nyelven első lett.
- Az Oak átlagosan az orvosi kifejezések 91 százalékát ismerte fel.
- A modell felhőben, privát felhőben és helyben telepített környezetben is futtatható.
A beszélgetés közben is követi a nyelvváltást
Az Oakot olyan konzultációkra tervezték, amelyekben beteg, orvos, ápoló, tolmács vagy hozzátartozó is megszólalhat, miközben a beszélgetés egyik nyelvről a másikra vált. A Speechmatics szerint a modellnek nem kell előre megadni a használt nyelvet, és a hanganyagot sem szükséges külön modellekhez irányítani.
A rendszer a leirat mellett nyelvi metaadatokat is visszaad, így azonosítható, hogy a beszélgetés egyes részei milyen nyelven hangzottak el. A beszélőket is követi, ami segíthet elkülöníteni a beteg által elmondott tünetet, egy másik résztvevő megfigyelését és az orvos utasítását.
A modell a Speechmatics szerint az orvosi szempontból fontos kifejezések megőrzésére összpontosít. Ide tartoznak a gyógyszernevek, diagnózisok, beavatkozások és mellékhatások. Az Oak jelenleg a Speechmatics API-ján keresztül érhető el, és felhőben, privát felhőben vagy helyben telepített környezetben is futtatható.
Az orvosi kifejezések felismerését külön mérik
A Speechmatics szerint az általános szóhiba-arány, vagyis a WER önmagában félrevezető lehet az egészségügyben. Ez a mérőszám ugyanakkora hibaként kezeli egy gyakori névelő és egy gyógyszer neve elrontását, miközben ezek klinikai jelentősége eltérő.
Ezért a vállalat az úgynevezett orvosi kifejezés-visszahívást is mérte. Ez azt mutatja meg, hogy a modell milyen arányban rögzíti helyesen a gyógyszereket, betegségeket, beavatkozásokat és mellékhatásokat. A Speechmatics szerint ez azért fontos, mert a leirat később klinikai jegyzet, összefoglaló vagy más egészségügyi alkalmazás alapjául szolgálhat.
A vállalat 19 orvosi tesztkészleten, 11 nyelven hasonlította össze az Oakot az AWS, az AssemblyAI, a Deepgram, az ElevenLabs, a Google, a Microsoft, az OpenAI és a Soniox megoldásaival. Minden szolgáltató ugyanazt a hanganyagot kapta, az értékeléshez alapértelmezett beállításokat használtak, egyedi szótár vagy kulcsszóprompt nélkül.
Az Oak a Speechmatics tesztjeiben mind a 11 nyelven első lett
A Speechmatics közlése szerint az Oak átlagosan az orvosi kifejezések 91 százalékát ismerte fel a 11 vizsgált nyelven. A másik nyolc szolgáltató átlaga 74 százalék volt. A tesztelt nyelvek között az angol mellett arab, dán, holland, finn, francia, német, norvég, lengyel, spanyol és svéd szerepelt.
A részletes eredmények alapján az Oak spanyolul 96,3, franciául 93,9, norvégul 93,3, németül 91,4, angolul 88,5, arabul pedig 87,9 százalékos orvosi kifejezés-visszahívást ért el. A vállalat szerint dánul volt a legalacsonyabb eredménye, 85,7 százalék, ez azonban így is meghaladta a következő legjobb szolgáltató teljesítményét.
A Speechmatics azt is közölte, hogy egyes modelleknél jelentős eltérés mutatkozott az angol és más nyelvek eredményei között. A tesztelt szolgáltatóknál az angol teljesítmény és a leggyengébb nyelv közötti különbség 9 és 58 százalékpont között mozgott. Az Oakot a vállalat több szolgáltató dedikált orvosi modelljeivel is összevetette. Angolul az Oak 88,5 százalékot ért el, szemben az ElevenLabs Scribe v2 Medical 87,7 és az AssemblyAI orvosi modelljének 85,6 százalékával.
A modell olyan egészségügyi környezeteknek készül, ahol a beszélgetések több nyelven zajlanak, és az érzékeny hangadatok feldolgozási helyét is szabályozni kell. A Speechmatics az Oakot korábbi egészségügyi megoldásaira építette, köztük klinikai dokumentációt segítő rendszerekre, többnyelvű betegfelvételre és az NHS 111 hívásainak átírására.
Speechmatics: Meet Oak: medical transcription that follows the conversation across languages and speakers
