A METR átláthatóbb kockázatértékelést vár az AI-cégektől

A nyilvánosság számára gyűjtenek bizonyítékokat

A METR célja, hogy pontos, időszerű és független bizonyítékokat adjon az AI-ügynökök jelentette, nagy léptékű irányításvesztés kockázatáról. A szervezet AI-cégekkel együttműködve értékeléseket, vizsgálatokat és kockázatelemzéseket végez, majd ezek eredményeit nyilvánosságra hozza.

A METR szerint a releváns állítások közül sok nyitott tudományos kérdés, ezért azok nem ellenőrizhetők egyszerűen. A szervezet saját szerepét a bizonyítékok összegyűjtésében és közzétételében látja, nem pedig abban, hogy eldöntse, a vállalatok hogyan fejlesszék vagy telepítsék AI-ügynökeiket.

A szervezet úgy véli, hogy a fejlett AI-rendszerekkel kapcsolatos döntések bizonytalan tudományos alapokra épülő, nagy tétű mérlegelések lesznek. Ezekről ezért nyíltan kell beszélni, beleértve azt is, hogy a bizonyítékok alapján mekkora kockázat áll fenn, és milyen kockázati szint fogadható el.

Nyilvánosságra hoznák a vizsgálatok korlátait

A METR október 14-én közzétett megközelítése szerint minden, a közönség kockázatokról alkotott képét közvetlenül befolyásoló munkánál ismertetni kell a folyamat fontos részleteit. Ide tartozik a munka megállapodás szerinti hatóköre és időtartama, valamint az, hogy az adatokhoz, rendszerekhez vagy más erőforrásokhoz való hozzáférés korlátai hatással voltak-e a következtetésekre.

A szervezet a vállalati szerkesztéseket is feltüntetné. Ha egy cég olyan információt töröl, amely fontos volt a következtetésekhez, a METR közölné ennek tényét és, amennyiben lehetséges, a szerkesztés jellegét. A jelentésekben szerepelniük kell az egyéb formális korlátozásoknak és informális nyomásoknak is, ha azok érdemben befolyásolhatták az eredményt.

A METR a munkatársak összeférhetetlenségéről is átláthatóságot ígér. Saját összeférhetetlenségi szabályzatára hivatkozva azt írja, hogy pénzügyileg nem akar függővé válni az együttműködő AI-cégektől, a jelentős érdekütközéssel rendelkező munkatársakat pedig kizárja az adott kockázatértékelési csapat kiválasztásából. A nem nyilvános adatokat és hozzáféréseket közben biztonságosan kezelné.

A szervezet maga is korlátozottan független

A METR arra törekszik, hogy a bizonyítékokat és a módszereket olyan részletességgel ismertesse, hogy külső szakértők önállóan megítélhessék a következtetéseket. Gyakori, ismétlődő jelentéseket szeretne közzétenni akkor is, ha egyes kérdésekre még nem tud teljes választ adni. Emellett összehasonlítható megközelítést tart kívánatosnak a különböző vállalatokról szóló jelentéseknél.

A METR szerint a korábbi munkákból alakította ki ezt a rendszert. Májusban hasonló elveket alkalmazott a Frontier Risk Report kísérleti jelentésében, amely az Anthropic, a Google, a Meta és az OpenAI közreműködésével végzett munkából nőtt ki. A szervezet példaként említi az OpenAI és a Hugging Face közötti incidens vizsgálatáról készült jelentést is, amelyben a hatókört, az időzítést, a hozzáférést és a korlátokat külön ismertették.

A METR ugyanakkor azt írja, hogy a jelenlegi önkéntes rendszerben nehéz biztosítani a teljes függetlenséget. A szervezet az együttműködő cégektől függ a részvétel, a hozzáférés és a közzététel engedélyezése terén. Olyan információkra is támaszkodhat, amelyeket nem tud ellenőrizni, és amelyek szerinte akár szűrve is eljuthatnak hozzá. A vállalatok a hozzáférés megtagadásával vagy szerkesztésekkel befolyásolhatják, milyen bizonyíték kerül a nyilvánosság elé.

A METR közlése a felhasználók és a döntéshozók számára azt jelenti, hogy egy AI-kockázati jelentést annak módszereivel, korlátaival és a vállalati beavatkozásokkal együtt kell értelmezni. A szervezet jelenleg nem fogad el pénzt vagy adományt frontier AI-cégektől, és olyan finanszírozást is visszautasított, amelynél egy AI-vállalat vezetője vagy alapítványa befolyással rendelkezett volna.