Az OpenAI szerint a GPT-6 Astra 87,4%-ot ér el COBOL-hoz hasonló nyelveken

Miért számítanak a ritkább nyelvek

Az OpenAI, a ChatGPT fejlesztője közleményében arra hívja fel a figyelmet, hogy a COBOL, a Fortran és a Visual Basic mögött kevesebb kód és dokumentáció áll, mint a Python vagy a JavaScript esetében. A modelleknek ezért kevesebb anyagból kell tanulniuk. Ennek ellenére ezek a nyelvek a cég szerint kritikus infrastruktúrát és alapvető szolgáltatásokat működtetnek világszerte.

A közlemény a COBOL-t az online banki rendszerek több mint 40%-ához, a személyes jelenléttel végzett bankkártyás tranzakciók 80%-ához és az ATM-tranzakciók 95%-ához köti. A Fortran az időjárás-előrejelzésben és az atomenergetikai nyilvántartások biztonsági elemzésében szerepel példaként.

Az OpenAI szerint fejlesztők és nagyvállalati ügyfelek jelezték, hogy a kódolómodellek gyakran nehezen birkóznak meg ezekkel a nyelvekkel. A karbantartást nehezíti, hogy a dokumentáció hiányos lehet, az eredeti fejlesztők távozhattak, és fontos üzleti szabályok kizárólag a kódban léteznek.

MultiLangBench: SQLite-kompatibilis adatbázismotor a nulláról

Az első mérés a MultiLangBench. A modellnek egy SQLite-kompatibilis adatbázismotort kell megépítenie egy megadott nyelven, 20 különböző nyelven összesen. Ehhez kódbázist kell szerveznie, állapotot kezelnie, hibákat kezelnie, és új funkciókat hozzáadnia a meglévők megtartása mellett.

A nyelvek összehasonlításához az adatbázisfájl szolgál közös felületként: a program egy kezdeti adatbázist és egy SQL-lekérdezést kap, majd módosított adatbázist állít elő. Az eredményt az SQLite referencia-implementációjával ellenőrzik. A teszteket az SQLite meglévő tesztkészletéből adaptálták.

Az OpenAI adatai szerint a GPT-6 Astra maximális érvelési erőfeszítésnél (reasoning effort) 20 nyelven átlagosan 87,4%-os tesztátmenetet ér el, szemben a GPT-5.6 Sol 26,8%-ával. Minden tesztelt nyelven javult az eredmény:

• COBOL: 10,9%-ról 72,1%-ra
• OCaml: 25,6%-ról 85,8%-ra
• Fortran: 21,4%-ról 83,5%-ra
• Visual Basic: 27,5%-ról 89,4%-ra

Az Astra 20 nyelvből 19-en 83% fölött teljesít, a COBOL marad a legnehezebb 72%-kal.

A GPT-6 Luna olcsóbb opcióként szerepel. Átlagosan 40,3%-ot ér el, ami szintén minden nyelven meghaladja a GPT-5.6 Sol eredményét. A COBOL-nál 17,1%, az OCaml-nál 34,1%, a Fortrannál 31,4%, a Visual Basicnél 41,6% a mért érték. A becsült átlagos API-költség mintánként 0,77 dollár, szemben a GPT-5.6 Sol 3,48 dollárjával, vagyis nagyjából 78%-kal alacsonyabb.

COBOL-programok migrálása

A második teszt azt vizsgálja, át tudja-e a modell vinni a COBOL-programokat C++, Java, Kotlin, Python vagy Rust nyelvre úgy, hogy a működésük ne változzon. Ehhez az üzleti logikát és a COBOL nyelvi sajátosságait is érteni kell.

Az OpenAI példája a fixpontos aritmetika: a COBOL alapértelmezetten eldobja a felesleges tizedesjegyeket, kerekítés csak külön kérésre történik. Ha egy átírás kerekít, a program hiba nélkül futhat, de más pénzügyi eredményt adhat.

A cég rejtett teszteket használ, amelyek a megfigyelhető kimenetek bájtról bájtra egyezését követelik meg. Migrációt csak akkor tekint sikeresnek, ha minden teszt átmegy.

A GPT-6.1 Sol alacsony érvelési erőfeszítésnél 86,6%-os pontosságot ért el, a GPT-5.6 Sol 5,4%-ával szemben. A költség a közlemény két helyén eltérően szerepel: az összefoglalóban 39%-kal alacsonyabb, a részletes részben pedig a GPT-5.6 Sol API-költségének 61%-a. Magasabb érvelési erőfeszítésnél a pontosság 97,9%, ami az OpenAI szerint közel telíti a tesztet.

Mit jelent ez a felhasználóknak

Az OpenAI a MultiLangBench tesztkörnyezetét és tesztkészletét GitHubon közzéteszi, nyelvenkénti eredményekkel. A fejlesztők így megnézhetik, mit mér a teszt, és hogyan teljesít a modell az általuk használt nyelveken.

A cég maga is óvatosságra int: a viselkedésmegőrző migrációs képesség hasznos a régi rendszereket karbantartó csapatoknak, de éles szoftvernél továbbra is szakértői átvizsgálás kell, és tesztelni kell az üzleti szabályokkal és függőségekkel szemben. Az eredmények egyben az OpenAI saját méréseiből származnak.

A legújabb modellek az API-n keresztül kipróbálhatók. A vállalat visszajelzést kér arról, hol működnek jól, hol akadnak el, és mely nyelvekre vagy munkafolyamatokra kellene a jövőben összpontosítania.