SWE-Bench Pro

Kutatás2026. július 15. 15:38

Az AI21 olcsóbb modellekkel ért el 80,8 százalékos SWE-Bench-eredményt

Az AI21 Labs többmodellű kódolási architektúrával 80,8 százalékos felbontási arányt ért el a SWE-Bench Pro teszten, miközben egy feladat átlagos költsége 5,99 dollár…

Kutatás

Kutatás2026. július 8. 15:00

Az OpenAI szerint a SWE-Bench Pro feladatainak 30 százaléka hibás

Az OpenAI visszavonta korábbi ajánlását a SWE-Bench Pro használatára, miután egy audit szerint a benchmark feladatainak mintegy 30 százaléka hibás. A vállalat szerint ez…