Az AI21 szerint mást mérnek a kódolási benchmarkok, mint amit a fejlesztők csinálnak
Az AI21 Labs belső fejlesztői forgalmának elemzése szerint a kódoló ügynökök valódi használata jelentősen eltér attól, amit a nyilvános benchmarkok mérnek. A vállalat ezért 613 feladatból álló, valós munkafolyamatokat utánzó értékelést készített.
- A vizsgált fejlesztői üzeneteknek csak körülbelül 11 százaléka kért kódírást.
- A megerősítések, átirányítások, git-parancsok és beillesztett kontextus a valós üzenetek körülbelül 40 százalékát adták.
- A belső munkamenetek több mint 60 százaléka egynél több különálló feladatot tartalmazott.
- Az AI21 Labs 613 feladatból álló, valós munkafolyamatokat utánzó benchmarkot épített.
- A vállalat a benchmarkot saját intelligens Gateway rendszerének modellútválasztásán is tesztelte.
A fejlesztők ritkán kérnek egyszerűen kódot
Az AI21 Labs hét héten át vizsgálta saját fejlesztőinek forgalmát. Ehhez belső kódolási feladatbesorolót készített, amely 4211 üzenetváltást, 15 fő kategóriát és 84 alkategóriát elemzett.
Az eredmények a vállalat szerint több ponton ellentmondtak annak, amit a hagyományos benchmarkok alapján várni lehetne. A valódi fejlesztői üzeneteknek csak körülbelül 11 százaléka kérte az ügynököt kód írására. A többség tisztázó kérdésből, háttérinformáció megadásából, elemzésből vagy kódellenőrzésből állt.
A leggyakoribb üzenettípus a tisztázó kérdés volt. A fejlesztők rövid, átlagosan körülbelül 80 karakteres üzeneteket küldtek egy folyamatban lévő munkamenet közben, konzolnaplókat illesztettek be, lépésenként hibát kerestek, és tovább finomították az ügynök válaszait.
A nyilvános tesztek kevéssé hasonlítanak a valós forgalomra
Az AI21 ugyanazt a besorolót több nyilvános benchmarkra, köztük a SWE-benchre, a HumanEvalre és a Spiderre is lefuttatta. A vállalat szerint ezek a tesztek jellemzően új kód megírását vagy egy tesztet elbukó hiba kijavítását vizsgálják.
Ezzel szemben a valódi fejlesztői üzenetek körülbelül 40 százalékát megerősítések, átirányítások, git-parancsok és beillesztett kontextus adta. Az AI21 szerint ezek az interaktív elemek a nyilvános kódolási benchmarkokban szinte egyáltalán nem jelennek meg.
A feladatok nehézsége is eltér. A standard értékelések gyakran egy kódbázis mély, több fájlt érintő architekturális ismeretét kérik számon. A fejlesztők a mindennapokban sokkal gyakrabban tesznek fel gyakorlati kérdéseket, például azt, hogy miért nem látszanak a módosításaik a git status eredményében.
A kontextus szintén fontos különbség. Egy tipikus benchmarkfeladat jól megírt, körülbelül 1000 karakteres GitHub-issue tiszta kódkörnyezettel. A valós üzenetek ezzel szemben egy hosszú beszélgetés, eszközkimenetek és félbehagyott fájlmódosítások közepén érkeznek. A belső munkamenetek több mint 60 százaléka egynél több különálló feladatot tartalmazott.
A vállalat valósághűbb benchmarkot épített
Az AI21 célja az volt, hogy egyesítse a nyilvános tesztek automatikus értékelhetőségét a valódi fejlesztői forgalom rendezetlen kontextusával. Az új benchmark kialakítását négy alapelv vezette.
- A forgalom szabja meg az arányokat: a feladatkategóriák arányát a belső forgalom alapján határozták meg.
- Belső és nyilvános kód keverése: a saját, már megoldott és beolvasztott feladatokat belső tesztkészletekkel ellenőrizték, majd nyilvános feladatokkal együtt használták.
- Fejlesztői megfogalmazás: a tökéletesen formázott hibajelentések helyett rövid, gyakran félreérthető üzeneteket alkalmaztak, miközben az alapul szolgáló kódkörnyezet és az automatikus tesztek változatlanok maradtak.
- Munkamenet közbeni indulás: belső visszajátszó infrastruktúrával egy fejlesztői munkamenet tetszőleges pontját, az addigi kontextust és a módosított fájlokat is vissza tudják állítani.
Az így létrehozott benchmark 613 feladatból áll, és az AI21 szerint a valós fejlesztői munkaszokások kategóriaarányait követi. A vállalat ezt követően saját intelligens Gateway rendszerének forgalmán is tesztelni kezdte az értékelést. A Gateway útválasztója minden fejlesztői üzenetnél megbecsüli a feladat nehézségét, majd eldönti, hogy prémium, drágább modellre vagy olcsóbb, gyorsabb modellre van-e szükség. A közlemény részletezett szövege itt megszakad, ezért a teszt végső eredményei nem ismertek.
