Az AWS szerint a hibás értékelés akadályozta a jobb modell kiválasztását

A korábbi modell válaszai lettek a mérce

A Property Finder digitális ingatlanplatformként több tízezer ingatlanfotót dolgoz fel naponta a Közel-Keleten és Észak-Afrikában. Egy-egy képet 11 minőségi jellemző alapján vizsgálnak, többek között vízjelek, helyiségtípusok, berendezés, képminőség és építési jelek szerint. Az új hirdetésekben átlagosan 15 kép szerepel, ezeket még élesítés előtt kell ellenőrizni.

A vállalat költséghatékonyabb megoldásra akart váltani az Amazon Bedrockon, az alternatív modellek összehasonlítását azonban egy hibás értékelési módszer akadályozta. A címkék 96,8 százaléka közvetlenül a használatban lévő látás-nyelvi modell előrejelzéseiből származott, és nem független emberi ellenőrzésből. Így az új modelleket valójában ahhoz mérték, hogy mennyire utánozzák a korábbi rendszer viselkedését.

Az AWS közlése szerint a címkékben konkrét hibák is voltak. A vízjelszövegek karakterenkénti felismerésénél hallucinált márkanevek és hiányzó karakterek is helyesnek számítottak. A fotóosztályozás egyetlen címkét kényszerített ki olyan képeknél is, amelyeken több helyiségtípus látszott.

Független szakértői adatkészlet készült

A kör megszakításához a Property Finder csapata 356 Egyesült Arab Emírségekbeli képet címkézett fel kézzel, egyiptomi képeken pedig külön régiós ellenőrzést végzett. A beszámoló az Egyesült Arab Emírségekből származó eredményeket ismerteti. Az első 256 kép alkotta a fejlesztési adatkészletet, a végső összehasonlításban mind a 356 kép szerepelt.

A címkézést egy stratégiai és elemzési szakértő végezte, az AWS Generative AI Innovation Center csapata pedig külön egyeztetéseken ellenőrizte a vitás eseteket. A folyamat során a csapat áttért a több címke engedélyezésére is. Egy ajtón keresztül látható hálószobát például nem kellett kizárni csak azért, mert a kép fő része egy folyosó volt.

Az elsődleges mérőszám a Micro F1 lett, amely minden előrejelzést azonos súllyal kezel. A Macro F1, a címkénkénti pontosság és visszahívás, valamint a képenkénti metszet-unió, vagyis az IoU szintén szerepet kapott. A kilenc egycímkés attribútumnál a szakértői válasszal való teljes egyezést is mérték.

A promptok iteratív finomítása javította az eredményeket

Az AWS a promptoptimalizálást megerősítéses tanuláshoz hasonló ciklusként írja le. Ebben minden promptverzió egy ügynöknek felel meg, a Micro F1 a jutalomjel, a hibaanalízis pedig a következő módosítás irányát adja. A ciklus a v0 verziótól a v27-ig futott. A promptok javításában AI-asszisztensek is segítettek, később pedig automatizált optimalizálást alkalmaztak.

A kezdeti, általános utasításokra épülő prompttal a Property Finder gyártási alapmodellje, a Proprietary model A, 0,55-ös Micro F1 értéket ért el a 256 képes fejlesztési adatkészleten. A csapat később strukturált kimenetet és attribútumspecifikus definíciókat adott hozzá. A helyiségek osztályozásánál előírták, hogy a modell a kép nagyobb részét elfoglaló helyiséget vegye alapul, majd több címke használatával a háttérben látható helyiségeket is figyelembe vehette.

Regionális szabályokkal kezelték azokat a dekoratív arab szöveges feliratokat is, amelyek nem minősültek vízjelnek. A v21 prompt lett a modellek közös kiindulópontja. Ezzel a Meta Llama 4 Maverick 17B Instruct modellje 0,75-ös Micro F1 értéket ért el a fejlesztési adatkészleten.

Mit jelent ez a modellválasztásban?

Az AWS által bemutatott eset arra hívja fel a figyelmet, hogy egy modellcsere értékelése torz eredményt adhat, ha az etalonként használt válaszokat maga a leváltandó modell állította elő. A Property Finder számára a független szakértői címkézés tette összehasonlíthatóvá az alternatívákat, a promptoptimalizálási ciklus pedig lehetővé tette a hibák célzott javítását.

Az AWS beszámolója szerint a módszerrel a vállalat nagyobb pontosságot ért el 86 százalékkal alacsonyabb költség mellett. A megközelítés más képfeldolgozási feladatoknál is alkalmazható lehet, ha az értékelési adatok valóban függetlenek a lecserélni kívánt modelltől.