A Mozilla AI az Otarival pótolná az open modellek hiányzó infrastruktúráját

A nyílt modellek mögötti hiányzó réteg

A Mozilla AI október 13-án közzétett írása szerint a nyílt modellek már alkalmasak ügynökök működtetésére, az ehhez szükséges API-k és infrastruktúra azonban még nem biztosítják ugyanazt az élményt, mint a zárt, élvonalbeli szolgáltatások. A szerző korábban arról írt, hogy egy ügynökalkalmazás saját API-ról nyílt modellekre költöztetése a modell körüli infrastruktúra jelentős részének újraépítését tette szükségessé.

A Mozilla AI most ennek a munkának a háttérben maradó részét mutatta be. A vállalat célja, hogy a nyílt modellekre épített alkalmazások használata ugyanolyan gördülékeny legyen, mint a zárt alternatíváké. A nehézséget szerintük sokszor azok a láthatatlan funkciók jelentik, amelyeket a hosztolt API-k automatikusan elvégeznek, és amelyekre a fejlesztői kód észrevétlenül támaszkodik.

Az Otari visszaadja a fejlesztői kontrollt

Az Otari ezt a hiányzó réteget biztosítja az alkalmazás és a választott modellhoszt között. A Mozilla AI szerint az átjáróréteg többek között a webes keresés és a kódfuttatás kezelését teszi a fejlesztő architekturális döntésévé.

A vállalat a Claude webes keresési funkcióját hozza példaként. Ilyenkor a lekérdezések a háttérben egy olyan keresőszolgáltatáson futnak, amelynek feltételeit a felhasználó közvetlenül nem fogadta el. Nem választhatja ki az alapul szolgáló szolgáltatót, nem követheti nyomon, milyen adatokat őriznek meg, és nem cserélheti le a szolgáltatást, ha romlik a találatok minősége.

Az Otari használatakor a webes lekérdezések a fejlesztő által meghatározott szolgáltatásokhoz, saját hitelesítő adatokkal és szerződésekkel továbbíthatók. A kód a fejlesztő által megadott, elszigetelt környezetekben fut, egy nyilvánosan elérhető protokoll alapján, amelyet bárki megvalósíthat. Az alkalmazás közben ugyanazt az eszközfelületet érzékeli, miközben a fejlesztő teljesebb rálátást és tulajdonosi kontrollt kap.

Kontextus, gyorsítótár és hordozható memória

A Mozilla AI szerint az Otari működését már az octonous.com oldalon is sikerült megvalósítaniuk, bár a rendszerben még vannak fejlesztendő és csiszolandó részek. A további technikai kihívások között a kontextus tömörítését, a promptok gyorsítótárazását és a tartós memóriát említik.

A fejlesztők számára fontos szempont, hogy a memória vizsgálható és modellek között migrálható legyen, ahelyett hogy zárt rendszerekben maradna. A Mozilla AI legfontosabb tesztje az, hogy egy kereskedelmi, élvonalbeli API-khoz tervezett ügynök közvetlenül nyílt modellekre irányítható-e Otarin keresztül, és hibátlanul működik-e. A vállalat GitHubon várja a hibajelentéseket és a tapasztalatokat.

Mistral Large 4 és további Mozilla AI-projektek

A bejegyzés szerint a Mistral Large 4 már az első naptól elérhető az Otariban. A Mistral 1T paraméteres, kevert szakértői rendszerre épülő modelljéhez egyetlen karakterlánc módosításával lehet útvonalat beállítani, miközben az Otariban használt szabályok, naplók és költségkövetés megmaradnak.

A Mozilla AI további munkái között szerepel egy helyi nagy nyelvi modellkiszolgálókat vizsgáló tanulmány is. Ez a llama.cpp, a llamafile, az LM Studio és az Ollama működését hasonlítja össze Macen, Linuxon és Steam Decken. A kutatás szerint a buildjelzők és a konfigurációk akár 63 százalékos teljesítménykülönbséget is okozhatnak, miközben az alapul szolgáló motorok a közös llama.cpp-mag miatt hasonlóan teljesítenek.

Az Octonousban bemutatott Agent Skills funkció szabványos Markdown formátumban tárolható, újrahasznosítható könyvtárat kínál a kontextushoz, irányelvekhez és eljárásokhoz. Így a csapatok egyszer rögzíthetik tudásukat, majd megoszthatják azt a munkaterületen, illetve automatizált feladatokhoz vagy élő beszélgetésekhez csatolhatják.