13 tanulmányt készített az AI-biztonságot kutató FAR.AI

Három pillérre épül a szervezet működése

A FAR.AI saját bemutatása szerint mesterségesintelligencia-biztonsági kutatási inkubátor és gyorsítóközpont. A szervezet 2022 júliusi indulása óta 12 teljes munkaidős munkatárssal bővült, 13 tanulmányt készített, valamint több mint 160 gépi tanulási kutatót ért el szakmai rendezvényeivel.

A kutatási program nem egyetlen irányra épít. A FAR.AI több lehetséges kutatási területet vizsgál, és azokat a programokat kívánja bővíteni, amelyekben a legnagyobb lehetőséget látja. Jelenlegi fókuszai a robusztusság tudománya, az értékillesztés és a modellek értékelése.

A robusztussági kutatások között szerepel a szuperemberi szintű Go-programok sérülékenységének vizsgálata. Az értékillesztés területén a szervezet többek között azt kutatja, hogyan lehet emberi adatokból megbízható jutalmazási függvényeket megtanulni, illetve hogyan lehet hatékonyabban emberi visszajelzéssel tanítani a modelleket.

Értékelés, értelmezhetőség és saját számítási klaszter

A modellértékelési program azt vizsgálja, hogyan tesztelhetők a korszerű modellek biztonság szempontjából fontos tulajdonságai. A FAR.AI külön kezeli a feketedobozos módszereket, amelyek a kívülről látható viselkedést elemzik, és a fehérdobozos megközelítéseket, amelyek a modellek belső működésének értelmezésére törekednek. A szervezet szerint a két módszercsoport kiegészíti egymást.

A FAR.AI közlése szerint tanulmányai olyan szakmailag lektorált folyóiratokban és konferenciákon jelentek meg, mint az ICML és az EMNLP. Munkáira a Financial Times, a The Times és az Ars Technica is felfigyelt. A kutatók és partnerintézmények számára saját nagy teljesítményű számítástechnikai klasztert is létrehoztak, amely a flamingo kódnevet kapta.

A szervezet olyan kutatási programokat választ, amelyek méretük miatt túl nagyok lehetnek egyéni vagy független kutatók számára, ugyanakkor nem feltétlenül illeszkednek profitorientált szervezetek érdekeihez. A munkát jellemzően házon belül végzik, de más, hasonló kutatási érdeklődésű szervezetekkel is együttműködnek.

Berkeleyben közösségi teret és képzéseket működtetnek

A FAR.AI 2023 márciusában nyitotta meg a FAR.Labs nevű mesterségesintelligencia-biztonsági közösségi irodát Berkeley belvárosában. A helyszínen jelenleg körülbelül 40 tag dolgozik, köztük a FAR.AI, az AI Impacts, a MATS, valamint független kutatók és kutatócsoportok. Az irodában munkaállomások, tárgyalók, telefonfülkék és videokonferencia-eszközök állnak rendelkezésre.

A közösség rendszeresen szervez rövid előadásokat, ebédidős tanulási alkalmakat, workshopokat és kötetlen szakmai eseményeket. A FAR.Labs ad otthont a heti FAR Seminar sorozatnak is, amelyen a FAR.AI, az AI Impacts, a Rethink Priorities és az Oxfordi Egyetem szervezeteinek előadói is részt vettek. A helyszínre szervezetek és magánszemélyek is jelentkezhetnek, rövid távú látogatók számára szintén fogadnak jelentkezéseket.

A szakterület építését workshopokkal és oktatási anyagokkal támogatják. A 2023-ban szervezett két workshopon összesen mintegy 150 résztvevő volt, a New Orleans Alignment Workshop pedig több mint 140 gépi tanulási kutatót fogadott. A FAR.AI emellett a Sage Futures közreműködésével létrehozta az AI Digest oldalt, amely a nem technikai hátterű AI-kutatóknak segít megérteni a vezető nyelvi modellek fejlődési ütemét.

A szervezet a Nemzetközi Párbeszéd a Mesterségesintelligencia-biztonságról eseményt is megszervezte, amelyen a közlemény szerint a világ több jelentős kutatója vett részt. A találkozó közös nyilatkozattal zárult, amely technikai és szakpolitikai ajánlásokat fogalmazott meg.