Jev csak igennel vagy nemmel válaszol, és olcsóbb AI-döntéseket céloz
A TypeSafe olyan AI-modellt készített, amely nem beszélgetésre vagy szövegírásra szolgál, hanem szűk üzleti kérdésekre válaszol igennel vagy nemmel. A Jev a válasz megbízhatóságát is jelzi, és a Kilo szerint az ilyen feladatokra olcsóbb modellek is elegendők lehetnek.
- A TypeSafe Jev modellje szűk kérdésekre igennel vagy nemmel válaszol.
- A Jev a válasz bizonyosságát is jelzi, és általában jóval egy másodperc alatt válaszol.
- A modell korai hozzáférésben van, ezért külső tesztelési tapasztalat még kevés áll rendelkezésre.
- A Kilo Auto Efficient modellválasztója a feladathoz legolcsóbb megfelelő modellt keresi.
- A Kilo több mint 500 modell kézi kiválasztását is lehetővé teszi, felár nélkül.
A Jev kis döntésekre készült
A TypeSafe szeptember 15-én adta ki korai hozzáférésben a Jev nevű modellt. A rendszer nem chatbotként működik: nem lehet arra kérni, hogy írjon e-mailt vagy magyarázzon el egy fogalmat.
Ehelyett egy vállalat szoftvere adatokat ad át neki, például egy ügyfél üzenetét és rendelési előzményeit, majd egy szűk kérdést tesz fel. Ilyen lehet, hogy az ügyfél visszatérítést kér-e. A Jev igennel vagy nemmel válaszol, a bizonyosságát is megadja, és a Kilo beszámolója szerint ezt általában jóval egy másodperc alatt teszi meg.
A modell olyan feladatokat céloz, mint az ügyfélszolgálati kérések rendezése, egy kockázatos művelet megjelölése vagy annak eldöntése, hogy ki kezeljen egy beérkező ügyet. A LangChain Jevről szóló bejegyzése szerint a fejlesztők ezeket a munkákat gyakran ugyanazokra a nagy nyelvi modellekre bízzák, amelyek a chatbotokat működtetik.
A TypeSafe a nagy modellek alternatíváját keresi
A TypeSafe alapítója Diogo Almeida, aki korábban az OpenAI-nál a ChatGPT mögötti kutatáson dolgozott. A cég abból indult ki, hogy a beszélgető modellek sokat fejlődtek a párbeszédben, de az automatizáláshoz szükséges kisebb döntéseket nem feltétlenül érdemes velük elvégeztetni.
A Jev nevét William Stanley Jevons 19. századi angol közgazdászról kapta. Jevons azt figyelte meg, hogy a gőzgépek hatékonyabbá válásával Nagy-Britannia több szenet égetett el, mert az olcsóbb energia új felhasználási módokat tett érdemessé.
A TypeSafe ugyanezt a mintát várja az AI esetében. Ha egy-egy válasz olcsóbbá válik, a vállalatok több olyan kérdést találhatnak, amelyet érdemes feltenni. A cég szerint azok a vállalatok, amelyek minden kérdést a legnagyobb és legdrágább modellhez továbbítanak, az egyszerű feladatokért is túl sokat fizethetnek.
A Jev azonban még korai hozzáférésben van, ezért a TypeSafe-en kívüli felhasználóknak egyelőre kevés idejük volt tesztelni, hogy a gyakorlatban mennyire teljesít megbízhatóan.
A Kilo más módon csökkenti a modellköltséget
A Kilo ugyanezt a problémát a programozási feladatoknál vizsgálja. Egyes kérések összetettek, például több fájlt érintő hibakeresést vagy egy új funkció meglévő rendszerbe illesztését igénylik. Mások rutinszerűek, például egy változó átnevezése, egy gyors teszt megírása vagy egy függvény működésének elmagyarázása.
A Kilo Auto Efficient modellválasztója minden kérést összevet a vállalat saját Kilo Bench kódolási mércéjével. Ez alapján azt a legolcsóbb modellt keresi, amelyről a mérés megmutatta, hogy képes kezelni az adott feladatot. Egy egyszerű átnevezéshez így olcsóbb modell kerülhet, míg egy nehezen felderíthető hibához erősebb modell.
A Kilo közlése szerint a szolgáltatás pontosan annyit számláz, amennyit a modellforgalmazók kérnek, felár nélkül. Így az olcsóbb modell használata kisebb számlát jelenthet a fejlesztőnek. Aki maga szeretné kiválasztani a modellt, több mint 500 lehetőség közül választhat, és bármikor válthat.
A TypeSafe új modellt épít az egyszerű döntések olcsó elvégzésére, a Kilo pedig a már létező modellek között osztja szét a feladatokat. A két megközelítés közös alapja, hogy sok AI-munkához nincs szükség a legnagyobb modellre, és az indokolatlanul drága választás költségei összeadódnak.
Kilo Code: Jev, Jevons, and the AI model that only answers yes or no
