Gyors döntési modellt tesztelt a Vapi a hangalapú AI biztonságára
A Vapi a TypeSafe AI korai hozzáférésű Jev modelljét tesztelte arra, hogy a hangalapú AI-asszisztensek válaszai megszegnek-e egy előre megadott szabályt. A modell gyors döntési ellenőrzésként működhet, de a vállalat szerint nem garantál teljes körű megfelelést.
- A Jev strukturált döntéseket ad, például pontszámot vagy igen, nem valószínűséget.
- A Vapi a beszédgenerálással párhuzamos válaszellenőrzésre tesztelte.
- Egy korai tesztben legalább négyből három szabályszegő választ felismert.
- A modell nem jelent százszázalékos megfelelési garanciát.
- A szabályok megfogalmazása és a reprezentatív tesztelés kulcsfontosságú.
A Jev strukturált döntéseket ad
A Vapi szeptember 23-án közzétett beszámolója szerint a Jevet a TypeSafe AI csapata fejlesztette. A modell a TypeSafe AI korai hozzáférésű, „System One” modellje, amely nem hosszabb szövegeket állít elő, hanem kontextus és célzott kérdések alapján strukturált döntéseket ad. Ilyen eredmény lehet egy pontszám vagy egy igen, illetve nem valószínűség.
A Vapi kutatásával foglalkozó Ashwin Alaparthi szerint a Jev sebessége és kontextuskezelése különösen érdekessé tette a hangalapú AI számára. A Vapi valós idejű rendszere beszédfelismerést, nyelvi modelleket, hanggenerálást és eszközöket kapcsol össze. Ebben a folyamatban sok kisebb döntés történik, amelyek hatással lehetnek a válasz sebességére és működésére.
Külön ellenőrzés a kimondás előtt
Az első kísérlet egy úgynevezett védelmi ellenőrzésre, guardrailre épült. A fejlesztő meghatározott egy szabályt, a Jev pedig azt értékelte, hogy a hangalapú asszisztens kimondásra készülő válasza megszegi-e ezt a szabályt. Példaként a Vapi azt említi, hogy az asszisztens ne adjon orvosi tanácsot.
A szabályok továbbra is elsősorban a rendszerutasításokban jelennek meg, de a Vapi szerint egy utasítás figyelmen kívül maradhat, ha helytelenül fogalmazták meg, vagy túl hosszúvá vált a kontextus. A Jev külön ellenőrzésként, a beszédgenerálással párhuzamosan futhat, ha gyorsabban válaszol, mint amennyi idő alatt a rendszer előállítja a hangot.
Az egyik korai tesztben a Jev legalább négyből három, az értékelt szabályt megszegő választ felismert. A Vapi hangsúlyozza, hogy ez nem százszázalékos megfelelési garancia, hanem egy további ellenőrzési réteg.
A szabályok megfogalmazása és a téves riasztások is számítanak
A kísérletek szerint a szabályok pontos megfogalmazása alapvető. A Vapi azt javasolja, hogy a fejlesztők rövid és egyszerű utasításokkal kezdjenek. Ha több műveletet kell tiltani, célszerű mindegyiknél megismételni az igét. Az „Ne ajánlj gyógyszert, ne ajánlj adagot, ne ajánlj eljárást” típusú megfogalmazás pontosabban a tiltott cselekvésre irányítja az ellenőrzést, mint egy puszta főnévi felsorolás.
A válaszokat vizsgáló osztályozó olyan szabályoknál lehet hasznos, amelyek az asszisztens által kimondott tartalomra vonatkoznak, a teljes beszélgetés során érvényesek, és a válasz alapján elbírálhatók. Nem tudja megállapítani például, hogy az asszisztens a megfelelő eszközt hívta-e meg, ha nem látja az eszköz állapotát. Egy tudásbázissal sem tud állítást ellenőrizni, ha annak tartalmát nem kapta meg.
A téves riasztások különösen fontosak hangalapú rendszereknél, mert a megszakítást a hívó fél is hallja. A Vapi szerint az aktív használat előtt reprezentatív értékelési adathalmazon kell tesztelni a szabályokat. A Jev a vállalat szerint más területeken is vizsgálható, például hangposták felismerésére vagy annak eldöntésére, hogy a hívó befejezte-e a beszédet. Ezek egyelőre csak feltevések, további kísérletekre van szükség.
