Healthcare-szaktudással bővíti kódoló ügynökét a Databricks
A Databricks nyílt forráskódú Agent Skills csomaggal ad egészségügyi és élettudományi szaktudást a Genie Code kódoló ügynöknek. A Vital Skills célja, hogy az ügynök ne általános módszereket és kimondatlan klinikai küszöbértékeket használjon, hanem a terület bevett eljárásait kövesse.
- A Vital Skills egészségügyi és élettudományi Agent Skills csomag a Genie Code-hoz.
- A Databricks szerint javult a módszertani szigor és a következetesség a BiomniBench feladatain.
- A clinical cohort-builder természetes nyelvű leírásból épít reprodukálható betegkohorszokat.
- A szabad szöveges kohorszok F1-értéke a tesztekben 0,62-ről 1,00-ra nőtt.
- A készségek többek között bioinformatikai, adatvédelmi és jelentéskészítési feladatokat támogatnak.
A domainismeret hiányát célozza a Vital Skills
A Databricks szerint az általános mesterségesintelligencia-alapú kódoló ügynökök gyakran képesek hihető kódot írni, de hiányzik belőlük az egészségügyi és élettudományi terület módszertani fegyelme. Ilyenkor előfordulhat, hogy csendben választanak klinikai küszöbértékeket, vagy általános statisztikai módszereket alkalmaznak olyan helyzetekben, ahol speciális eljárások számítanak bevett gyakorlatnak.
A Vital Skills előre összeállított munkafolyamatokat és útmutatókat kínál az Agent Skills nyílt szabványára építve. Ezek azt segítik, hogy a Genie Code tudja, milyen kérdéseket kell feltennie, mely lépések nem hagyhatók ki, és mely ellenőrzött eszközöket érdemes használnia.
A BiomniBench tesztjeiben javult a következetesség
A Databricks a Genie Code működését Vital Skills nélkül és azokkal együtt is megvizsgálta a BiomniBench nevű, biomedicinális adatelemzési feladatokat mérő nyilvános teszten. A feladatokat szakértők által készített értékelési szempontok alapján pontozták, feladatonként három futtatással, vakon értékelő nyelvi modell bevonásával.
A vállalat közlése szerint a Vital Skills használatával a Genie Code magasabb eredményt ért el azokban a feladatokban, amelyekhez a készségek támogatást nyújtottak. Javult a következetesség, a pontosság és a módszertani szigor, miközben kevesebb lépés és ellenőrzés maradt ki. A Databricks szerint a rendszer ritkábban kényszerült újrapróbálkozásra, és gyakrabban választott iparági szabványoknak megfelelő eszközöket. A készségek a hatókörükön kívüli feladatokon nem rontották az eredményt.
Klinikai kohorszok és biológiai modellek
A készségkatalógus többek között bioinformatikai, klinikai, adatvédelmi és modellezési feladatokat fed le. A bulk-rnaseq készség differenciálisan kifejeződő géneket keres bulk RNA-seq számlálási adatokból, a pathway-enrichment-analysis útvonal-dúsulást vizsgál ORA vagy GSEA módszerrel, a sc-rnaseq pedig .h5ad fájlok elemzésére szolgál.
A clinical cohort-builder kódolt és szabad szöveges klinikai adatokból épít reprodukálható, megvalósíthatóság szempontjából ellenőrzött betegkohorszokat. A felhasználó természetes nyelven írhatja le a célpopulációt, például a 2-es típusú cukorbetegségben szenvedő, nem megfelelő vércukorszintű betegeket. A készség rákérdez a kulcsfontosságú döntésekre, ellenőrzi, hány beteg felel meg a feltételeknek, és megmagyarázza, miért került be az egyes beteg a kohorszba.
A Databricks tesztjeiben a szabad szöveges kohorszok F1-értéke 0,62-ről 1,00-ra emelkedett. A vállalat szerint a készség minden futtatáskor ugyanazt a kohorszdefiníciót adta, míg a Genie Code önmagában eltérő definíciókat választott.
Az open-weight-models készség nyílt súlyú egészségügyi és élettudományi modellek, például a TEDDY és a Geneformer Databricks-platformon történő csomagolását, regisztrációját, validálását és telepítését támogatja. A katalógusban emellett szerepel a HIPAA Safe-Harbor szerinti, Unity Catalog-táblákra alkalmazható phi-deidentifier, a jelentés- és prezentációkészítő, valamint a készségek párosított értékelésére szolgáló skill-eval.
A felhasználó dönthet a kritikus pontokon
A készségek fejlesztésénél a Databricks három alapelvet emel ki. Az első az, hogy a rendszer kérdezzen, mielőtt feltételez. Ha például a klinikai küszöbérték kiválasztása az elemző döntése, a készség lehetőségeket mutat, majd a felhasználóra bízza a választást. A második az ellenőrzött eszközök használata az alkalomszerűen létrehozott kód helyett. A harmadik az eredmények bizonyítása, vagyis minden készség összevetése a nélküle futó Genie Code-dal ugyanazokon a feladatokon.
A Databricks szerint a Genie Code Unity Catalog-integrációja révén az ügynök a vállalati adatokat és a platform biztonsági, illetve irányítási szabályait is figyelembe veszi. A vállalat a Vital Skills készletét kezdőcsomagnak tekinti, amelyet tovább kíván bővíteni, és várja a közösségi hozzájárulásokat a nyílt forráskódú adattárhoz. A megoldás így az adatfeldolgozástól és elemzéstől a modellek életciklus-kezelésén át a jelentések, prezentációk és irányítópultok elkészítéséig kínálhat egységes munkafolyamatot a Databricks környezetében.
