A TinyFish 77,6 százalékos sikerrel teszteli webes ügynökmodelljét
A TinyFish webes ügynökökhöz fejlesztett modellje 77,6 százalékos feladatsikert ért el egy 2178 feladatból álló belső teszten. A vállalat a Databricks AI Runtime, az MLflow és a Databricks Model Serving segítségével egy rendszerben kezeli a modell utótréningjét, értékelését és éles futtatását.
- A TinyFish modellje 2178 feladatból 1691-et teljesített, a sikerarány 77,6 százalék lett.
- A cég a Databricks AI Runtime-on végzi a modelltanítást és finomhangolást.
- Az MLflow az értékelést, a Databricks Model Serving az éles kiszolgálást támogatja.
- 15 nap alatt 294 781 modellfutást és 6,4 millió eszközlépést rögzítettek.
- A TinyFish a felügyelt finomhangolás mellett a DPO-t és nagyobb tréningeket is vizsgálja.
A teljes ügynök teljesítményét mérik
A Databricks október 9-én közzétett beszámolója szerint a TinyFish olyan infrastruktúrát épít vállalatok számára, amely lehetővé teszi az ügynökök számára az élő web használatát. Search, Fetch, Browser és Agent API-jai dinamikus webhelyeken való navigálást, információk lekérését, alkalmazások használatát és több lépésből álló feladatok végrehajtását támogatják.
A cég saját, webes feladatokra specializált modellt fejleszt. A belső go/no-go teszten a modell 2178 webes ügynökfeladatból 1691-et teljesített sikeresen, ami 77,6 százalékos feladatsikernek felel meg. Az értékelés során egy külön nyelvi modellbíró vizsgálja az eredeti kérést, az ügynök műveleteinek előzményeit és a végső eredményt.
Egy feladat csak akkor számít sikeresnek, ha a kért művelet megtörtént, vagy minden követelménynek megfelelő helyes válasz született. A részleges teljesítés, a hibás válasz és az érvénytelen eredmény sikertelennek számít.
A fejlesztéstől az éles futtatásig egy körben
A TinyFish a webes modell utótréningjét felügyelt finomhangolással kezdte, és a Direct Preference Optimization, röviden DPO felé halad. A munkát a Databricks által kezelt GPU-kon végzi az AI Runtime segítségével, így a kutatóknak nem kell külön tréningplatformot üzemeltetniük.
Az MLflow az értékelést támogatja, a Databricks Model Serving pedig az éles modellkiszolgálást. A vállalat már a keresési újrarangsorolóját és a lekérdezés-átíró modelljét is Databricksen futtatja, és ugyanitt szolgálja ki webes modelljét is.
„Számunkra a modell betanítása csak a probléma egyik része. Tudnunk kell, hogy egy változtatás valóban jobbá teszi-e az ügynököt a valós feladatok teljesítésében, majd gyorsan élesbe kell juttatnunk a javulást” , mondta Zach Richardson, a TinyFish mesterséges intelligenciáért felelős vezetője. Szerinte az AI Runtime, az MLflow és a modellkiszolgálás együttese lehetővé teszi, hogy a cég különálló rendszer építése nélkül végezze el ezeket a lépéseket.
294 781 futás 15 nap alatt
A TinyFish egy 15 napos időszakban 294 781 olyan ügynökfutást rögzített, amelyben a webes modell részt vett. Ezek során 6,4 millió eszközlépés történt. A modellkiszolgálás becsült költsége futásonként 0,088 dollár, eszközlépésenként pedig 0,0040 dollár volt.
A vállalat hangsúlyozza, hogy ezek az értékek kizárólag a webes modell kiszolgálási költségeire vonatkoznak, a teljes ügynökrendszerre nem. Az adatok ugyanakkor lehetővé teszik, hogy a TinyFish a költségeket, a használatot és a minőséget egy helyen kövesse.
A cég szerint az általános célú alapmodellek továbbra is fontosak az ügynökarchitektúrában, saját modellje azonban kifejezetten azokra a webes feladatokra optimalizálható, amelyeket a terméknek végre kell hajtania. A TinyFish emellett a külső alapmodellekhez való hozzáférést is a Unity Gateway alatt vonja össze, központi költségkövetéssel, kulcskezeléssel és irányítással.
A következő iteráció felé
A TinyFish a felügyelt finomhangoláson túl a DPO-t és nagyobb tréningfeladatokat is vizsgálja. A Databricksen kialakított folyamat változatlan maradhat akkor is, ha a fejlesztési módszerek módosulnak: az ügynökértékelés megmutatja, hol teljesít jól a modell, az eredmények visszakerülhetnek az utótréningbe, az új verziók teljes feladatokon tesztelhetők, a bevetésre kész modellek pedig ugyanabból a környezetből szolgálhatók ki.
Ez a felépítés a TinyFish számára közvetlen kapcsolatot teremt az éles működésből származó tapasztalatok és a következő modellverzió fejlesztése között. Sudheesh Nair társalapító és vezérigazgató szerint a vállalat így a GPU-infrastruktúra kezelésére és az adatok különálló rendszerek közötti mozgatására fordított mérnöki munkát a termék fejlesztésére összpontosíthatja.
Databricks: From post-training to production: How TinyFish runs its web-native model on Databricks AI Runtime
