Ötlépéses tervet javasolnak az AI értékelési hiányának megszüntetésére
Az AI-rendszerek jelenlegi értékelései gyakran nem jelzik előre megbízhatóan a valós környezetben várható teljesítményt. Egy OECD.AI-n megjelent elemzés ötlépéses ütemtervet vázol fel a hiányosságok csökkentésére.
- A jelenlegi AI-tesztek gyakran nem jelzik előre a valós környezetben várható teljesítményt.
- A jobb értékelések növelhetik a bizalmat, a biztonságot és az AI alkalmazásának elterjedését.
- Az értékeléseket az AI-rendszer teljes életciklusa alatt el kell végezni.
- A módszereket a nyelvekhez, kultúrákhoz, felhasználási területekhez és technológiákhoz kell igazítani.
- A kormányok és vállalatok már több önkéntes tesztelési és szabványosítási kezdeményezést indítottak.
A teszteredmények nem mindig tükrözik a valós teljesítményt
Lee Tiedrich, a Tiedrich Global Strategies professzora és vezérigazgatója a július 31-én közzétett írásában azt állítja, hogy az AI értékelésében nemzetközi szinten egyre nagyobb egyetértés alakul ki egy megszüntetendő hiányosságról. Az elemzés szerint a jelenlegi módszerek gyakran nem képesek előre jelezni, hogyan teljesítenek a modellek a valóságban.
Ennek egyik oka az lehet, hogy az AI-modellek a teszteken a ténylegesnél jobb eredményt mutatnak. Az is problémát jelenthet, ha a tesztelési környezet lényegesen eltér a valós használattól. A 2026 International AI Safety Report, amelyet több mint száz szakértő készített, és amelyet több mint 30 ország, valamint többoldalú szervezet támogatott, szintén erre a problémára hívja fel a figyelmet.
Az értékelést nehezíti az úgynevezett „AI bizonyítéki dilemma” is, amely a gyorsan fejlődő technológia kockázatainak felméréséből adódó nehézségekre utal.
A megbízhatóbb értékelés a szabályozást és a piacot is segítheti
A szerző szerint a jobb értékelések pontosabb képet adhatnak az AI teljesítményéről és megbízhatóságáról. Ez különösen fontos azért, mert az AI teljesítménye egyenetlen: egyes alkalmazások jobban működnek, mint mások. A különböző helyzetekben tapasztalható megbízhatóság jobb megértése növelheti a megfelelő használat iránti bizalmat, és az AI-rendszerek biztonságát is erősítheti.
A megbízható tesztek a döntéshozóknak is több bizonyítékot adhatnak a szakpolitikai döntésekhez. Az elemzés szerint ez csökkentheti a bizonytalanságot, gyorsabb és magabiztosabb döntéshozatalt tehet lehetővé, valamint segíthet abban, hogy a szabályozás lépést tartson a technológiai fejlődéssel.
Az értékelések egységesítése a vállalatok költségeit is mérsékelheti, különösen akkor, ha a különböző régiókban alkalmazott módszerek között kevés eltérés van. Ez könnyebbé teheti a határokon átnyúló működést, csökkentheti az új piaci belépők akadályait, és támogathatja a versenyt.
Kormányok és vállalatok már most is építik az ehhez szükséges rendszereket. Az Egyesült Államok AI Action Planje értékelési ökoszisztéma létrehozását szorgalmazza. A White House közlése szerint Donald Trump 2026 júniusában önkéntes keretet létrehozó AI-végrehajtási rendeletet írt alá, amelynek célja az érintett fejlett modellek kormányzati tesztelése, a biztonságos innováció és a kiberbiztonság javítása.
Öt lépésben zárnák a hiányosságot
1. Egyensúly a szabványosítás és az egyedi igények között. Az értékeléseknek figyelembe kell venniük a különböző nyelveket, kultúrákat, felhasználási területeket és normákat. A 2026-os indiai AI Impact Summiton több vállalat a többnyelvű és kontextusfüggő értékelések javítását vállalta.
2. Tesztelés az AI teljes életciklusa alatt. A modelleket és rendszereket nem elég ellenőrzött környezetben vizsgálni. Az értékeléseknek az AI-rendszer életciklusának különböző szakaszaira és a valós használati helyzetekre is ki kell terjedniük. Ezt az irányt az International AI Safety Report és a NIST AI Risk Management Framework is támogatja.
3. Megfelelő ökoszisztéma kialakítása. A munkához képzett vizsgálókra és olyan módszerekre van szükség, amelyek az eredményeket a vállalati felhasználók és az érintett személyek számára is érthetően közlik, miközben megőrzik a rendszerek üzleti szempontból védett információit.
4. Az értéklánc, a technológia és a környezet figyelembevétele. Másfajta tesztelésre lehet szükségük a nagy nyelvi modellek fejlesztőinek, mint azoknak a vállalatoknak, amelyek ezeket a modelleket saját rendszereikben alkalmazzák. Az önállóan cselekvő AI-ügynökök megjelenése új értékelési kihívásokat teremt.
5. Hatékony és megbízható folyamat. Az értékelések kialakításába az iparág, a kormányzat, a tudomány és a civil társadalom képviselőit is be kell vonni. A folyamatnak az OECD Hiroshima AI Process Reporting Framework eredményeire és a NIST „Zero Draft” projektjére is támaszkodnia kell.
Az elemzés szerzője szerint a megbízhatóbb és összehangoltabb értékelések a felhasználók, a döntéshozók és a fejlesztők számára is jobb alapot adhatnak az AI-rendszerek használatának megítéléséhez. Az írás ugyanakkor a szerző saját véleménye, és nem feltétlenül tükrözi az OECD, a GPAI vagy tagországaik hivatalos álláspontját.
OECD.AI: A five-step roadmap to closing the AI evaluation gap
