A Replit új tesztje szerint a legjobb modellek is gyakran hibáznak

Üres projektből kell felépíteni a terméket

A Replit október 28-án tette közzé a ViBench 2.0-t, amely a hosszú folyamatot igénylő szoftverfejlesztést méri. A benchmark a Fireworks Specialized Intelligence Indexéhez, röviden SII-hez csatlakozik. Ez olyan, gyakorlati szakemberek által készített teszteket gyűjt össze, amelyek nyílt, zárt és specializált modelleket hasonlítanak össze valós munkafeladatokon.

A hagyományos kódolási tesztekhez képest a ViBench 2.0-ban az ügynök nem egy meglévő kódbázisban kap pontosan körülhatárolt feladatot. Egy üres projektből indul, és egy teljes terméket épít fel, például az Uberhez, a GitHubhoz vagy a Google Docshoz hasonló szolgáltatást. A teszt 17 terméket, 241 funkciókérést és 544 teszttervet tartalmaz.

Az ügynök először egy rövid specifikáció alapján elkészíti a termék első változatát, majd legfeljebb 18 új funkciót ad hozzá a már meglévő kódhoz. Így a modellnek sokszor még azelőtt kell kiválasztania az adatbázis-sémát és az útvonalakat, hogy ismerné a későbbi követelményeket.

A modellek a részleteknél és a funkciók találkozásánál hibáznak

A tesztek olyan helyzeteket is ellenőriznek, amelyek egy valódi termék használata közben jelentkeznének. Az üres adatbázisból induló telepítés például megbukik, ha a kód korábbi adatokra támaszkodik. A közösségi csevegőtermékben egy felhasználó átnevezése után a korábbi üzenetekben is az új névnek kell megjelennie. A fuvarmegosztó alkalmazásban a részfizetéseknek cent pontossággal ki kell adniuk a teljes összeget.

A kódkezelő termékben egy korábban megnyitott szerkesztő nem írhatja felül egy másik felhasználó újabb módosítását. A piactéren két visszaküldési űrlap nem térítheti vissza kétszer ugyanazt az árucikket. A végső értékelést egy ügynök végzi valódi böngészőben, kattintással, gépeléssel és az eredmény ellenőrzésével.

A Replit az Opus 5.5 modellt használta értékelőként, mert a tesztelt modellek közül ez hibázott a legkevesebbet. A cég 34, egyenként beültetett hibával ellenőrizte a működését, és az értékelő egyetlen olyan teszttervet sem fogadott el, amelyben látható hiba maradt. Amikor a GPT-6.1 Sol újraértékelte az Opus által átengedett 477 eredményt, azok 99,2 százalékát helyesnek találta.

A GPT-6.1 Sol vezet, a nyílt modellek még nem teljesítenek teljes építést

A hivatalos eredményekben minden modell a 17 termékből négy-négy építést készített azonos beállítások és eszközök mellett. A pass@1 azt mutatja meg, hogy az építések mekkora részében teljesített minden tesztterv.

• GPT-6.1 Sol: 65 százalékos pass@1, körülbelül 12 dolláros költség építésenként.
• GPT-6 Astra: 60 százalékos pass@1, körülbelül 90 dolláros költség építésenként.
• Opus 5.5: 49 százalékos pass@1, egy építés átlagosan körülbelül 70 perc alatt készül el.
• DeepSeek V4.1 Flash: a teszttervek 77 százalékát teljesíti, építésenként körülbelül 2,50 dollárért, de egyetlen nyílt súlyú modell sem teljesítette hibátlanul a teljes építést.

A három legjobb modell a teszttervek több mint 90 százalékát átengedi, ezért a sikertelen építések többségében csak néhány terv okoz problémát. A Replit szerint a hibák gyakran akkor jelennek meg, amikor több funkció együtt működik. A sikertelen építések csaknem háromnegyedében ilyen funkciókereszteződések okozzák a gondot.

A benchmark azt mutatja, hogy a jelenlegi modellek a termékek nagy részét már helyesen felépítik, de a korábban létrehozott kódhoz illeszkedő, később érkező funkciók továbbra is komoly akadályt jelentenek. A Replit arra számít, hogy az ilyen eredmények idővel költséghatékonyabb, köztük nyílt súlyú modelleknél is megjelennek. A részletes módszertani leírás később érkezik, a legfrissebb eredmények az SII ranglistáján és a vibench.ai oldalon érhetők el.