Haystack 3.0: nagyobb kontrollt adna az ügynökrendszerek felett

A szuverenitás túlmutat a modell hosztolásán

A deepset július 20-án ismertette a Haystack 3.0 újdonságait. A vállalat szerint az AI-szuverenitásról szóló viták gyakran arra összpontosítanak, hol fut a modell, és ki biztosítja az infrastruktúrát. Ez fontos szempont, de önmagában nem mondja meg, ki irányítja az ügynök teljes működési környezetét.

Minden ügynök egy úgynevezett harnessben működik. Ez foglalja össze a működési ciklust, az eszközöket, a memóriát, a kontextust és a vezérlési mechanizmusokat, amelyek egy modellhívásból teljes rendszert hoznak létre. A deepset álláspontja szerint egy rendszer akkor sem válik valóban saját tulajdonná, ha biztonságosabb környezetbe költöztetik, miközben a körülötte lévő logika továbbra sem érthető, auditálható vagy elhagyható.

A vállalat szerint egy ügynökrendszer hónapok alatt jelentős szervezeti tudást halmozhat fel. Ide tartozhatnak a működési utasítások, a szakértői visszajelzések alapján finomított készségek, a tesztek, az értékelések, a munkafolyamatok és a memóriák. Ezt a deepset intézményi intelligenciának nevezi, amely a modell cseréje után is megőrizhető.

Moduláris készségek és programozható hookok

A Haystack 3.0 egyik újdonsága a skills, vagyis a készségek rendszere. Egy skill fájlokból álló mappa, amely a szervezet saját határain belül olvasható, verziózható, megosztható vagy törölhető. Az ügynök futás közben fedezi fel ezeket a készségeket: először csak a nevüket és leírásukat kapja meg, a teljes tartalmat pedig akkor tölti be, amikor a feladat megköveteli.

A deepset szerint ezzel az utasítások egyetlen nagy rendszerprompt helyett hordozható, kezelhető formában tárolhatók. A készségek nem fedik le az összes vállalati tudást, mivel az adatok, a memória, az értékelések, a nyomkövetések és a visszajelzések eltérő követelményeket támasztanak.

Az agent hookok lehetővé teszik, hogy a csapatok saját logikát illesszenek be az ügynök működésének meghatározott pontjain. Ilyen pont lehet egy futás kezdete vagy vége, minden modellhívás előtt, az eszközök végrehajtása körül, illetve a kilépéskor. A vállalat példaként említi az érzékeny adatok modellhez jutás előtti szűrését, a megfelelő kontextus összeállítását, a túl nagy kontextus tömörítését és a jóváhagyás megkövetelését egy nagy hatású eszköz használata előtt.

A futás közbeni token- és lépésszámlálás a költségek kezelését is támogatja. A csapatok ezek alapján tömörítést indíthatnak, korlátozhatják a végtelen ciklusokat, vagy módosíthatják a rendszer viselkedését, amikor az elér egy meghatározott költségkeretet.

Részletesebb megfigyelhetőség és biztonságosabb tesztelés

A Haystack 3.0 beépített állapotként teszi elérhetővé a tokenhasználatot, a lépések számát és az eszközhívások mennyiségét. A frissített nyomkövetés lépésszintű eseményeket rögzít, és megjelöli, hogy az egyes lépések mely eszközöket használták. Így egy váratlan eredmény esetén a csapat láthatja, mit tett az ügynök, és milyen sorrendben hajtotta végre a műveleteket.

A keretrendszer beépített mock generátorokat és beágyazásokat is kínál. Ezekkel külső API-hívások, változó szolgáltatói válaszok és tesztenkénti használati költségek nélkül lehet ügynököket fejleszteni és tesztelni.

A leanebb alapkód miatt a korábbi komponensek és egyes integrációk külön csomagokba kerülnek. Az alapértelmezett telepítés így kevesebb függőséget tartalmaz, az integrációk pedig az alaprendszertől függetlenül kaphatnak javításokat. A YAML-deszerializálást egy megbízható modulokat tartalmazó engedélyezési lista erősíti: egy pipeline definíciója csak olyan modulokból tölthet be osztályokat, amelyeket a szervezet előzetesen engedélyezett.

Modellfüggetlen alap, szervezeti kontroll

A Haystack modelljeit a deepset egy szélesebb rendszer komponenseiként kezeli. A pipeline-ok és az ügynöklogika szolgáltatótól függetlenül készülnek, ezért a vállalat szerint a modell ár, képesség vagy joghatóság miatt lecserélhető anélkül, hogy a korábban felépített rendszer elveszne. A Haystack nyílt forráskódú, így a szervezetek módosíthatják a kódot, bővíthetik a komponenseket, és a saját környezetükben üzemeltethetik a keretrendszert.

A deepset szerint ezt a megközelítést szabályozott intézmények, köztük az Európai Bizottság és a Bosch is használják éles környezetben. A Haystack 3.0 azoknak a csapatoknak ad több közvetlen irányítási lehetőséget, amelyek az ügynökök által használt tudást, a döntési logikát, a futtatási környezetet és a teljesítmény bizonyítékait is saját ellenőrzésük alatt szeretnék tartani. A telepítés a pip install haystack-ai paranccsal kezdhető meg, a deepset pedig külön migrációs útmutatót és dokumentációt is kínál.