Ai2: a gyógyszernevek végződése félreviheti az AI egészségügyi válaszait

A név végződése rövid út lehet a modellnek

Az Ai2 cikke szerint egyre többen fordulnak AI-modellekhez egészséggel és gyógyszerekkel kapcsolatos kérdésekkel, gyakran konkrét gyógyszerneveket említve. A probléma az, hogy egy modell hozzáértőnek tűnhet akkor is, ha valójában keveset tud az adott gyógyszerről.

Sok gyógyszernév a toldalékain, gyakran a végződésén keresztül hordoz információt a gyógyszerosztályról. A forrás példaként a -pril, -olol és -azoline végződéseket említi. Ez olyan rövid utat adhat a modellnek, amelyben a válasz a név mintázatából születik, nem az adott gyógyszerről megtanult tényekből.

A kutatást Kaijie Mo, a University of Texas at Austin munkatársa vezette, a Northeastern University és az MD Anderson Cancer Center kutatóival együttműködésben. A csapat azt vizsgálta, mikor támaszkodik a modell a gyógyszernév morfológiájára, vagyis alaktani felépítésére, és mikor konkrét gyógyszerismeretre.

Az Olmo 3 nyitottsága tette vizsgálhatóvá a jelenséget

A kutatók az Olmo 3-at választották, mert az elemzéshez teljesen nyílt modellre volt szükség, nyilvános súlyokkal és tanító korpuszokkal, a betanítástól az utótanításig terjedő dokumentációval, valamint közzétett köztes ellenőrzőpontokkal.

Mo az Ai2 közlése szerint így fogalmazott: „Az Olmo 3 különösen értékes volt a nyitottsága miatt, és azért, mert a tanító korpusza jelentős mennyiségű orvosi tartalmat tartalmaz, ami lehetővé tette, hogy összekapcsoljuk a viselkedést, a mechanizmusokat és a tanítóadatokat. A nyílt modellek lehetővé teszik, hogy egy viselkedés megfigyelésétől eljussunk annak okának megértéséig.”

Az Olmo 3 7B Instruct modellen a csapat olyan diagnosztikai eljárást épített, amely három lehetséges információforrást különített el: a gyógyszernév közös végződését, a gyógyszerre jellemző névtövet, valamint az adott gyógyszerről szóló valódi tudást. A kutatók a névtövet, a toldalékot vagy mindkettőt kitalált, jelentés nélküli karakterláncokra cserélték, majd mérték, hogyan változnak a modell válaszai.

Sok válasz mögött nem látszott konkrét gyógyszerismeret

Az Ai2 összefoglalója szerint a diagnosztika azt találta, hogy az Olmo 3 kevesebbet tud a gyógyszerekről, mint amennyire a válaszaiból elsőre következtetni lehetne. Az értékelési formátumtól függően a vizsgált gyógyszerek körülbelül 12 és 18 százaléka tűnt toldalékvezéreltnek.

Még nagyobb csoportnál, a gyógyszerek 51 és 59 százalékánál a modell nem mutatott valódi jelét annak, hogy ismerné az adott gyógyszert. A valós gyógyszernévre adott válasza alig különbözött attól, amit egy kitalált névre adott.

A kutatók ezután az Olmo nyílt korpuszában kerestek rá a gyógyszerek előfordulásaira az infini-gram segítségével, amelyet az Ai2 tömeges szöveges adathalmazokban végzett pontos kifejezéskereső motorként ír le. Azt vizsgálták, milyen gyakran és milyen környezetekben jelentek meg az egyes gyógyszerek a tanítóadatokban. Az eredmény szerint minél ritkább volt egy gyógyszer a betanítás során, annál inkább úgy tűnt, hogy a modell válasza a név végződésétől függött, nem gyógyszerspecifikus tudástól.

Miért számít ez az egészségügyi kérdéseknél?

A forrás szerint a toldalékokra épülő következtetés önmagában nem feltétlenül probléma, mivel a gyógyszernév-végződések gyakran valós információt hordoznak a farmakológiai osztályról. A kockázat akkor jelenik meg, amikor ez a hasznos általánosítás átveszi a konkrét gyógyszerre vonatkozó tudás helyét.

Mo szerint a nyitott modell és az infini-gram értéke abban áll, hogy a kutatók a modell kimeneteit össze tudják kapcsolni azok valószínű okával. Az Ai2 idézete szerint: „A nyitottság lehetővé tette annak azonosítását, hogy hol keletkeznek a morfológiai rövid utak, és ezek tanulmányozását azon túl, ami egy feketedoboz-modell esetében lehetséges lenne. Nagy kockázatú területeken, például az orvoslásban, a modellkimenetek auditálása önmagában gyakran nem elég. A modell belső működéséhez való hozzáférés szigorúbb diagnózist, validálást és végső soron megbízhatóbb rendszereket tesz lehetővé.”

A felhasználók szempontjából a hír arra mutat rá, hogy egy egészségügyi választ nem elég a magabiztos megfogalmazása alapján megítélni. A piac és a fejlesztők számára pedig az Ai2 kutatása azt jelzi, hogy a nyílt modellek és a tanítóadatok vizsgálhatósága különösen fontos lehet olyan területeken, ahol a válaszok következményei nagy súlyúak.