A Fiddler célzott modellel javítja az AI-biztonsági értékelések pontosságát
A Fiddler bemutatta a Dynamic Model Escalation funkciót, amely a Centor Model for Safety által nehezebben értékelhető bemeneteket automatikusan egy Fiddler által hosztolt általános célú modellhez továbbítja. A vállalat szerint a megoldás külső API-hívás nélkül javíthatja a biztonsági értékelések pontosságát.
- A Dynamic Model Escalation a Centor Model for Safety új, opcionális képessége.
- A rendszer csak a betanítási tartományon kívül eső bemeneteket küldi második értékelésre.
- Az eszkalált adatok Fiddler által hosztolt modellen, a Centoron belül futnak.
- Egy tesztben 3,1 százalékos eszkaláció mellett 93,5 százalékkal csökkent a jailbreak téves pozitív aránya.
A Centor választja ki az értékelés módját
A Fiddler október 13-án jelentette be a Dynamic Model Escalationt, amely a Centor platform új képessége, és jelenleg a Centor Model for Safety részeként érhető el. A rendszer minden bemenetet és kimenetet célzott Centor Modellek segítségével vizsgál, majd automatikusan eldönti, hogy az adott tartalom értékelésére elegendő-e a specializált modell, vagy második értékelésre van szükség.
A Centor Modellek olyan feladatokra készültek, mint a biztonság, a hűségesség és az érzékeny információk pontozása. A Fiddler szerint ezek a modellek a forgalom döntő többségét gyorsan kezelik, és használatukhoz nem kapcsolódik külső szolgáltató felé fizetendő hívásonkénti díj.
Ha egy bemenet kívül esik azon a tartományon, amelyen a Centor Model for Safetyt betanították, a rendszer automatikusan továbbítja egy Fiddler által hosztolt, általános célú modellhez. A folyamat a Centoron belül zajlik, külső API-hívás nélkül.
A ritka esetek kapnak második értékelést
A Dynamic Model Escalation a Centor Model for Safety által már előállított beágyazásokat (embeddingeket) használja annak megállapítására, hogy egy bemenet mennyire tér el a tanítási adatoktól. Ehhez a Fiddler szerint nincs szükség külön modellre vagy többletszámításra.
Csak az így azonosított, kisebb bemeneti rész kerül a második modellhez, ezért a vállalat szerint kizárólag ez a forgalom kap további késleltetést. A többi értékelés ugyanazzal a sebességgel futhat, mint korábban.
A funkció opcionális. A Centor Model for Safety ügyfelei bekapcsolhatják a dinamikus eszkalációt a nagyobb pontosság érdekében, vagy használhatják önmagában a specializált modellt.
A Fiddler szerint jelentősen csökkent a téves riasztások száma
A fejlesztés és a gyártási tesztelés során egy ügyfél a Centor Model for Safety segítségével vizsgált adatokat. A Fiddler közlése szerint a bemenetek mindössze 3,1 százalékának eszkalációja 93,5 százalékkal csökkentette a jailbreakhez kapcsolódó téves pozitív arányt. A vállalat szerint ez jelentősen mérsékelte a biztonsági csapatok ellenőrzési sorát.
A Fiddler SaaS-alapú Centor-szolgáltatásánál az eszkaláció nem jár további, értékelésenkénti költséggel. Saját üzemeltetésű környezetben viszont az általános célú modell futtatása növeli az ügyfél saját infrastruktúraköltségét.
A cég hangsúlyozza, hogy az általános célú modell nem jobb a Centor Modelleknél. A specializált modellek a betanítási tartományukon belül gyorsabbak és pontosabbak, az általános modell feladata pedig azoknak a bemeneteknek a kezelése, amelyek ezen a tartományon kívül esnek. Ez a felépítés azoknak a csapatoknak lehet fontos, amelyek teljes nyomkövetési lefedettséget szeretnének fenntartani anélkül, hogy minden bemenetet külső modellhez küldenének.
Fiddler AI: Introducing Dynamic Model Escalation: More Accurate AI Evals, No Trade-Offs To Make
