Az Otari egy helyre hozza az AI-rendszerek szabályait és modellválasztását

Központi szabályok az AI-ügynököknek

A Mozilla AI szerint minden új képesség, amelyet egy AI-rendszernek adnak, új kérdéseket vet fel. A böngésző webes hozzáférést biztosít, a sandbox lehetővé teszi a generált kód futtatását, a vállalati belső rendszerekhez való kapcsolódás pedig az adatok módosítását vagy felfedését is lehetővé teheti. Ilyenkor fontos, hogy az ügynök meddig mehet el, mennyit költhet, és hogyan derül ki, ha hibázik.

Az Otari minden kérést egy központi átjárón vezet keresztül. A szabályok munkaterületenként állíthatók be, így megadható, mely modellek használhatók, engedélyezett-e a webes keresés vagy a kódfuttatás, illetve kötelezőek-e bizonyos védelmi ellenőrzések. A megjelölt kéréseket a rendszer még azelőtt blokkolja, hogy eljutnának a szolgáltatóhoz.

A költségkeretek felhasználókhoz és alkalmazáskulcsokhoz rendelhetők. Az Otari minden kérés előtt ellenőrzi ezeket a limiteket. A kódoló ügynököknél az Agent Guardrails konkrét eszközhívásokat utasíthat el, és a repository módosításait is ellenőrizheti, mielőtt az ügynök átadja a munkát.

Láthatóvá teszi, mi történt egy munkamenetben

Egy kész válasz mögött több modellhívás, tartalékmodellre váltás vagy sikertelen eszközhívás is állhat. Az Otari használati nézetei megmutatják, melyik szolgáltatást hívták meg, mi hibásodott meg, és mennyibe került a folyamat.

A munkamenetek nyomkövetése egyetlen idővonalra fűzi fel ezeket az eseményeket. A Mozilla AI közlése szerint a rendszer eközben nem tárolja a promptokat, a válaszokat vagy az eszközök eredményeit. Így azonosítható, miért vált költségessé egy feladat, melyik lépés hibázik rendszeresen, és lefutott-e a védelmi ellenőrzés.

Modellváltás konfigurációs módosítással

Az alkalmazások egyetlen API-n keresztül érhetik el az Otari által támogatott modelleket, ezért a szolgáltatóváltás a bejelentés szerint konfigurációs módosítással megoldható. Tartalékútvonalak is beállíthatók, amelyek egy szolgáltató kiesésekor másikhoz irányítják a kéréseket.

Az eszközök szintén az Otarin keresztül érhetők el. Ez azt jelenti, hogy egy nyílt súlyú modell ugyanazt a webes keresést és kódfuttatást használhatja, mint az a tulajdonosi modell, amelyet lecserél. A Mozilla AI azt javasolja, hogy a modelleket a teljes feladat alapján hasonlítsák össze, beleértve a pontosságot, az újrapróbálkozásokat és az emberi ellenőrzés szükségességét.

Az Otari gatewaye Apache 2.0 licenc alatt érhető el. A kód olvasható, a rendszer saját infrastruktúrán üzemeltethető, és a fejlesztésekhez is hozzá lehet járulni. A hosztolt változat az otari.ai oldalon használható.

Mistral Large 4 és saját keresési háttér

A Mozilla AI közlése szerint a Mistral Large 4 már az indulás napjától elérhető az Otariban. A vállalat 1T paraméteres MoE-modellként írja le, és azt állítja, hogy egyetlen karakterlánc módosításával lehet ráirányítani a kéréseket, miközben megmaradnak a korábban beállított szabályok, nyomkövetések és költségkövetés.

Az Otari a webes keresés háttérszolgáltatójának kiválasztását is lehetővé teszi. A felhasználó választhatja a Mozilla AI megoldását, használhatja saját kulcsát, vagy önállóan üzemeltetett keresési hátteret állíthat be. A Mozilla AI azt javasolja, hogy a bevezetést egy jól ismert munkafolyamattal kezdjék, állítsák be a modelleket, az eszközöket és a költségkeretet, majd néhány hétig figyeljék a működést, mielőtt nagyobb mozgásteret adnának az ügynöknek.