15 ezer dolláros ösztöndíjat kínál az AI-kiberbiztonság kutatóinak a Berkeley

A generatív AI és az ügynöki rendszerek biztonsága a fókuszban

A UC Berkeley Center for Long-Term Cybersecurity, vagyis a CLTC szeptemberben meghirdette a Cal Cybersecurity Research Fellowship nyolcadik pályázati körét. A 2026 és 2027 közötti ösztöndíj olyan kutatásokat támogat, amelyek a kiberbiztonság és a mesterséges intelligencia metszetében vizsgálják a generatív AI és az ügynöki rendszerek által jelentett, illetve az ezeket célzó új fenyegetéseket.

A sikeres pályázat legfeljebb 15 000 dolláros támogatást kaphat. A CLTC szerint a kiírt témák kiemelt kutatási területek, de az ezeken kívül eső, jelentős tudományos előrelépéssel kecsegtető AI-biztonsági javaslatokat is elbírálják.

Kognitív tűzfalak védhetik az AI érvelését

Az egyik kiemelt terület a kognitív tűzfalak fejlesztése. A CLTC szerint a promptinjektálás és az eszközhozzáférés együtt a generatív AI egyik legveszélyesebb gyakorlati kockázata. Ahogy az AI-ügynökök egyre önállóbban olvasnak e-maileket, böngészik az internetet, eszközöket hívnak meg és más ügynökökkel kommunikálnak, az érvelési folyamataik is támadási felületté válhatnak.

A pályázók olyan védelmeket kutathatnak, amelyek felismerik és kezelik a promptinjektálást, a hatáskörök összekeverését, a manipulációs kísérleteket, a társadalmi manipulációt és az egymással ütköző célokat. A fenyegetések felhasználói utasításokból, lekért dokumentumokból, e-mailekből, weboldalakról, ügynökök közötti üzenetekből vagy eszközök kimeneteiből is érkezhetnek.

A CLTC többféle megközelítést vár, köztük a bemenetek ellenőrzését és szűrését, a modellek utólagos képzésével kialakított védelmeket, az ügynöki rendszerek architekturális védelmét, a jogosultságok elkülönítését, a homokdobozokat és a manipulációval szemben ellenálló új ügynökarchitektúrákat.

A kutatók azt is vizsgálhatják, miben bízzon egy AI-ügynök

A másik kiemelt témakör a számításos bizalmi modellek fejlesztése AI-ügynökök számára. A kiírás szerint a nagy nyelvi modellek jellemzően szemantikailag egyenértékűként kezelik a szövegeket, miközben az emberek a forrás kilétét, tekintélyét, szakértelmét, eredetét, következetességét, ösztönzőit és korábbi megbízhatóságát is mérlegelik.

A kutatások azt vizsgálhatják, hogyan lehet egy ügynök számára számszerűsíteni, mennyire bízhat az egyes információkban. A lehetséges jellemzők között szerepel a forrásazonosság, a bizonyosság, a tekintély, a frissesség, a sértetlenség, az eredet, az AI integritása és a korábbi megbízhatóság. A CLTC szociotechnikai, technikai, illetve formális és matematikai megközelítéseket is vár.

A kiírás kérdései között szerepel, hogyan jelenjen meg, frissüljön és terjedjen a bizalom az AI-rendszerekben, miként modellezhető a kontextusfüggő bizalom, valamint hogyan védhetők meg a bizalmi jelek az ellenséges manipulációtól.

Október 16-ig lehet pályázni

A támogatás kizárólag jelenlegi doktorandusz, posztdoktori kutató vagy pre-tenure, vagyis még állandó oktatói kinevezéssel nem rendelkező oktató kutatási munkájára használható fel. A pénz többek között egyetemi kinevezésben foglalkoztatott hallgató vagy posztdoktori kutató fizetésére, konferencia-regisztrációra és utazásra, kutatási kellékekre, valamint a projekthez kapcsolódó egyéb közvetlen költségekre fordítható.

A pályázatnak tartalmaznia kell az önéletrajzot, valamint egy legfeljebb ötoldalas projekttervet a projekt címével, kivonatával, a korábbi kapcsolódó munkák bemutatásával, a kutatási módszerekkel és a várt eredményekkel, illetve hatással. A mellékletben rövid életrajzot kell adni a pályázóról és témavezetőiről, továbbá egyszerű költségvetést is mellékelni kell. Az önéletrajz és a melléklet nem számít bele az ötoldalas korlátba.

A jelentkezéseket 2026. október 16-án, csendes-óceáni idő szerint 23 óra 59 percig várják. A kérdéseket Audrie Houghnak lehet elküldeni a [email protected] címen. A CLTC a Berkeley Egyetemen, annak School of Information intézményéhez kapcsolódva működik, és közérdekű kiberbiztonsági, valamint AI-biztonsági kutatásokkal és együttműködésekkel foglalkozik.