A Flo Health AI-modeljeinek biztonságát és hasznosságát is javította
A Flo Health saját értékelési és utótréningelési rendszerrel javított egy nyílt modell orvosi biztonságán és hasznosságán. A Databricks szerint a fejlesztés során a biztonsági pontszám 34 százalékról körülbelül 61 százalékra, a hasznosság 42 százalékról 76 százalékra nőtt.
- A Flo Health 26 AI-bírót használt az orvosi biztonság és a hasznosság mérésére.
- A rendszer több mint 15 ezer szintetikus kérdésből készített tanítási adatot.
- A finomhangolás 32 NVIDIA H100 GPU-n futott Databricks AI Runtime környezetben.
- Az orvosi biztonság 34 százalékról körülbelül 61 százalékra javult.
- A mindkét kritériumnak megfelelő válaszok aránya 16 százalékról 47 százalékra nőtt.
Az egészségügyi válaszokat két szempont szerint mérték
A Flo Health női egészségügyi alkalmazása havonta 81 millió aktív felhasználót ér el. A vállalat szerint ezen a léptéken egy AI-rendszer kisebb hiányosságai is számíthatnak, különösen azért, mert a termékek egészséggel és jólléttel kapcsolatos válaszokat adnak.
A Flo két alapvető célt határozott meg: az orvosi biztonságot és a hasznosságot. Egy válasz lehet biztonságos, miközben kevés gyakorlati segítséget ad, vagy lehet részletes és személyre szabott úgy, hogy közben fontos orvosi óvintézkedéseket hagy ki. A vállalat példaként a késő menstruáció okaira vonatkozó kérdést említi. A kizárólag orvos felkeresését javasló válasz biztonságos lehet, de kevéssé hasznos, míg a csak gyakori életmódbeli okokat felsoroló válasz informatívabb, de orvosi szempontból hiányos lehet.
A Flo orvosi, termékfejlesztési és mérnöki csapatai olyan értékelési keretrendszert készítettek, amely konkrét szabályokra bontotta az orvosi kockázatot. Ilyen volt a kiegyensúlyozott okok szabálya, amely a releváns jóindulatú és súlyosabb lehetséges okok megfelelő bemutatását várta el.
AI-bírák és szintetikus adatok adták a tanítási jelet
A végleges keretrendszer 26 AI-bírót tartalmazott. Közülük 12 az orvosi biztonságot kemény korlátként vizsgálta, 6 úgynevezett mikrobíró olyan részleteket értékelt, mint a hangnem, a megalapozottság és a megfogalmazás, további 8 pedig a hasznosságot, köztük a teljességet, a relevanciát, a koherenciát és a hangnemet mérte.
A bírákat szintetikus és anonimizált eseteken ellenőrizték. Ha egy AI-bíró nem értett egyet a kezdeti emberi értékeléssel, klinikai szakértők, vak módon, döntötték el az eltérést. A Flo ezután az esetek egy részével finomította a bírákat, a többit pedig a teljesítmény mérésére tartotta fenn.
A folyamat több mint 15 ezer, adatvédelmi szempontokat figyelembe vevő szintetikus kérdést állított elő. A válaszpárokhoz nem kellett minden egyes példát klinikusoknak kézzel címkézniük. A kérdések modell által létrehozott vagy névtelenül összesített jelekből származtak, nem felhasználók szabad szöveges, azonosítható adataiból.
A munkafolyamat során több válaszjelöltet generáltak, ezeket a biztonság, a hasznosság és a viselkedési szempontok szerint pontozták, majd a legerősebb válaszokból preferenciapárokat készítettek. A Flo felügyelt finomhangolást és Direct Preference Optimizationt, vagyis DPO-t alkalmazott. Mivel az első változatban a hasznosság javult, az orvosi biztonság viszont alig változott, a vállalat fokozatos biztonsági pontszámot vezetett be a válaszok pontosabb megkülönböztetésére.
32 NVIDIA H100 GPU-val futott a finomhangolás
A generálás, pontozás, kiválasztás és tanítás ismétlődő folyamata jelentős számítási kapacitást igényelt. A Flo a Databricks AI Runtime, az LLM Foundry és a Compose-RL eszközeit használta, az MLflow pedig a követést és az ellenőrzési pontokat kezelte.
A finomhangolás 32 NVIDIA H100 GPU-n, PyTorch és Fully Sharded Data Parallel, vagyis FSDP használatával zajlott. Az AI Runtime szerver nélküli GPU-környezetet adott, az LLM Foundry a megosztott tanítást, a Compose-RL pedig a preferenciaoptimalizálást biztosította. A Flo így a szintetikus adatok előállításától az értékelésen át a finomhangolásig ugyanabban a környezetben dolgozhatott, GPU-klaszterek kézi beállítása nélkül.
„A Databricks AI Runtime segítségével ott taníthatunk, ahol az adataink már eleve vannak, a nagy léptékű modelltréninghez szükséges megbízhatósággal, biztonsággal és teljesítménnyel” , idézi a Databricks Vladislav Nedosekint, a Flo Health adat- és AI-platformért felelős mérnöki igazgatóját.
A kombinált eredmény 16 százalékról 47 százalékra nőtt
A Flo elsőként vizsgált modellje az orvosi biztonsági teszten 34 százalékot, a hasznossági mérésen 42 százalékot ért el. A válaszoknak mindössze 16 százaléka teljesítette egyszerre mindkét feltételt.
A finomhangolás után az orvosi biztonság körülbelül 61 százalékra, a hasznosság 76 százalékra emelkedett. A két kritériumnak együttesen megfelelő válaszok aránya 47 százalék lett, ami a kiinduló érték közel háromszorosa.
A Databricks beszámolója szerint a Flo számára a felépített értékelési és tanítási rendszer lehet a hosszabb távon használható eredmény. A vállalat ezt újabb nyílt súlyú modelleken, köztük a Gemma, a Qwen és a Kimi modellcsaládokon is alkalmazná, miközben megtartaná a már kidolgozott orvosi biztonsági és hasznossági szempontokat.
