Szuverén AI-ról és önfejlesztő ügynökökről szólt a deepset berlini hete

A berlini központból House of Sovereignty lett

A deepset október 27-én közzétett beszámolója szerint a berlini NVIDIA GTC hetét a vállalat saját központjában és a konferencia helyszínén is programokkal töltötte. A cég a berlini irodáját ideiglenesen House of Sovereignty néven találkozóhellyé alakította, ahol az AI olyan alkalmazásokban való használatáról beszéltek, amelyeket a szervezetek saját feltételeik szerint tudnak megbízhatóan működtetni és továbbfejleszteni.

A Roberto Sgnaolin, Christian Knobel és Sven Giesselbach részvételével tartott panel központi kérdése az volt, hogyan tarthatják meg a szervezetek az ellenőrzést adataik, modelljeik, infrastruktúrájuk és alkalmazásaik felett, miközben új képességeket vezetnek be. A programot bemutatók és egy közösségi hack night egészítette ki, amelyen fejlesztők Haystackkel építettek alkalmazásokat, tapasztalatot cseréltek, és a deepset csapatával dolgoztak együtt.

Nyílt architektúra az önfejlesztő ügynökökhöz

A GTC színpadán Malte Pietsch és Julian Risch az „Evolve Within Bounds: Secure, Self-Improving Agents for On-Prem AI” című előadásban azt vizsgálta, hogyan maradhatnak hatékonyak az AI-ügynökök akkor is, amikor változnak az adataik, az eszközeik és a működési környezetük.

A deepset az NVIDIA-val folytatott technikai együttműködés részeként egy nyílt referenciaarchitektúrát jelentett be. Ez a Haystack vezérlését az NVIDIA nyílt modelljeivel és optimalizálást, valamint irányított végrehajtást támogató szoftvereivel kapcsolja össze. A vállalat szerint az architektúra olyan ügynökök alapját adhatja, amelyek visszajelzésekből tanulnak, fejlesztéseket javasolnak, és közben a szervezetek által ellenőrzött infrastruktúrán, akár helyi vagy hálózattól elszigetelt környezetben futnak.

A bemutatott kiberbiztonsági rendszerben egy ügynök bizalmas forráskódot vizsgált sérülékenységek után kutatva, egy másik pedig elemezte a futásait és fejlesztéseket javasolt. A módosításokat bevezetés előtt értékelik, az engedélyezési, naplózási és visszaállítási kontrollok pedig az emberi felügyeletet tartják fenn. A deepset egy kapcsolódó naplóelemzési példát is bemutatott, amelyben egy Haystackre épülő ügynök NVIDIA DGX Sparken, helyi modellekkel elemez nyomkövetési adatokat, tesztel konfigurációs változtatásokat és fejlesztéseket ajánl.

Optimalizálás és egyedi modellek kritikus felhasználásra

Milos Rusic Andreas Simon Rueckriegel, Michael Frings és Alexander Heinrich társaságában beszélt az AI kritikus felhasználási területeken, illetve szigorú biztonsági követelmények mellett történő bevezetéséről. A deepset szerint ezekben a környezetekben a modell képességei mellett azt is szabályozni kell, hogy egy ügynök mihez férhet hozzá, hogyan jut el egy eredményhez, és hol fut a teljes alkalmazás.

A vállalat új ügynökoptimalizálási képességeket és egyedi modellkapcsolatokat is bejelentett. Ezek célja a közlés szerint a jó minőségű, szuverén AI-ügynökök működtetési költségeinek csökkentése kormányzati, védelmi és ipari szervezeteknél. A Haystack Enterprise Platform a fejlesztést, a futtatást, az optimalizálást és az irányítást kapcsolja össze. A platform lehetőséget ad a működési költségek összehasonlítására, a válaszminőség értékelésére és a problémák nyomon követésére, míg az egyedi modellkapcsolatok a speciális modellek alkalmazásokhoz igazítását támogatják.

Európai projektek és partnerségek

Az NVIDIA európai közszektorbeli, nyílt modelleket használó projektekről szóló összeállításában a deepset is szerepelt. A cikk a Haystack Enterprise Platformot az Európai Bizottság AI@EC platformjának alapjaként mutatja be, és kitér a platform bővítésére is. Az összeállítás ismerteti a secunet, az NVIDIA, a Red Hat és a deepset tervezett szuverén felhőszolgáltatását is olyan szervezetek számára, amelyek minősített információkat kezelnek.

A deepset a GTC idején többek között az n8n-nel, Jan Oberhauserrel, a Maternával, a secunettel és a Schwarz Digits vállalattal is közös tervekről egyeztetett. A cég beszámolója szerint a berlini esemény azt mutatta meg, hogyan kapcsolható össze az alkalmazási tapasztalat, az infrastruktúra, a megvalósítás és a nyílt forráskódú technológia a szervezetek konkrét igényeivel. A bejelentések a felhasználók számára olyan fejlesztési irányt jelentenek, amelyben az AI-ügynökök fejlesztése, működtetése, javítása és felügyelete egyetlen rendszerben kezelhető, miközben az adatok, a modellek és az infrastruktúra feletti kontroll megmarad.