A Cline gyorsabb döntéseket adna az AI-ügynököknek Jevvel

A Jev nem szöveget ír, hanem döntéseket osztályoz

A Cline október 27-i beszámolója szerint a modern AI-ügynökök jellemzően úgy működnek, hogy egy utasítást küldenek a nagy nyelvi modellnek, megvárják annak feldolgozását, majd a választ egy csevegésalapú API-n keresztül kapják meg. Ez a megközelítés sok feladatra alkalmas, de a késleltetés és a költség problémát jelenthet, amikor egy ügynöknek sok apró döntést kell meghoznia.

A TypeSafe AI Jev nevű modellje más módon kezeli ezeket a helyzeteket. A modell egy állapotot, vagyis strukturált környezetet kap bemenetként, majd az állapotra vonatkozó kérdésekre ad választ. Az eredmény lehet egy választási lehetőség, egy pontszám vagy egy úgynevezett noul, amely annak valószínűségét fejezi ki, hogy egy állítás igaz.

A kapott értékek alapján az alkalmazás rangsorolhat, priorizálhat vagy azonnal dönthet. A Cline által idézett TypeSafe-adatok szerint Jev a vállalat munkafolyamat-tesztjein körülbelül 194-szer gyorsabb és 445-ször olcsóbb a hagyományos nagy nyelvi modelleknél. Ezek a számok a TypeSafe közlései, nem a Cline saját mérési eredményei.

Egy parancs kockázatát is felmérheti

A Cline példájában egy kódoló ügynök az npm install left-pad-utils@latest --save parancsot szeretné lefuttatni a felhasználó tárhelyén. Jev három kérdésre válaszol: milyen típusú művelet történik, mekkora a kockázat a felhasználó megkérdezése nélküli futtatáskor, illetve letölt-e a parancs kódot az internetről és végrehajtja-e azt.

A modell 318 milliszekundum alatt adott választ. A parancsot a hálózati és rendszerbeli változtatások kategóriájába sorolta, a kockázatot 1,01-es pontszámmal jelezte, és 0,82-es valószínűséget adott annak, hogy a művelet távolról szerez be kódot. Az ilyen ellenőrzések egy eszközhívás előtt blokkolhatják vagy továbbengedhetik a műveletet.

A Cline három beépülő modullal mutatja be a megközelítést. A jev-browser a böngészőben elérhető gombok, linkek és mezők közül választja ki a következő műveletet. A Cline szerint a felhasználó például egy londoni repülőjárat keresését kérheti Zür||||i||||chből, az ügynök pedig Jev segítségével kattint végig az oldalon. A folyamat végén a Cline egy képernyőképpel ellenőrzi, hogy a feladat valóban elkészült.

A Jev a böngésző mellett védelmi rétegként is működhet

A jev-playground beépülő modul webes felületen alakít át egy általános kérést Jev-kéréssé. A Cline ilyenkor előkészíti az állapotot, a kérdéseket és a kategóriákat, amelyeket a felhasználó később módosíthat. A Cline példája egy állásjelölt következő interjúkörbe juttatásának eldöntése. A tények, kérdések és kategóriák szerkesztése után az oldal közvetlenül Jevhez fordul, nagy nyelvi modell közbeiktatása nélkül.

A jev-guard a Cline ügynökeinek védelmére szolgál. A felhasználó megadhatja, melyik munkaterületet szeretné védeni, a rendszer pedig minden eszközhívás előtt ellenőrizheti azokat. A Cline szerint a hook automatikusan átvizsgálja a védett mappán belül érkező eszközeredményeket, így az ügynöknek nem kell külön emlékeznie az ellenőrzés meghívására.

A Cline szerint a három bővítményben a nagy nyelvi modell a nyelvi feladatokat kezeli, Jev pedig a gyors, strukturált döntéseket. Ez lehetővé teszi, hogy az ellenőrzések minden eszközeredményen lefussanak, jelentős többletterhelés nélkül. A vállalat azt is írja, hogy a megoldás olcsóbban használható nyílt modellekkel. A beszámolóban szereplő böngésződemon a havi 9,99 dolláros ClinePass előfizetést használja, amely válogatott nyílt súlyú modellekhez ad hozzáférést, körülbelül ötszörös használattal a szokásos API-árazáshoz képest.