A Vercel bemutatta a Jev modellt, amely gyors döntésekre készült
A Vercel AI SDK for Python új, kísérleti evaluate() API-ja egyszerű hozzáférést ad a Jevhez, egy olyan modellhez, amely feleletválasztós kérdésekre válaszol, és a válaszaihoz magabiztossági értéket is rendel. A Jev szűk döntési feladatokra készült, a pontosságát azonban minden felhasználási esetben külön kell tesztelni.
- A Jev feleletválasztós kérdésekre válaszol, és a magabiztosságát is jelzi.
- A modell szűk döntési és osztályozási feladatokra készült.
- Az AI SDK for Python kísérleti evaluate() API-ja közvetlenül támogatja a Jevet.
- A Vercel Python és angol szöveg megkülönböztetésére is kipróbálta a modellt.
- A Jev AST segítségével szintaktikailag érvényes, de többnyire hibás Python-kódot tudott létrehozni.
A Jev osztályozóként működik
A Vercel október 2-án közzétett bemutatója szerint a Jev egy új típusú mesterségesintelligencia-modell. A használatához adatot kell megadni, majd több választási lehetőséget tartalmazó kérdéseket lehet feltenni neki. A modell visszaadja a kiválasztott válaszokat, valamint azt is, mennyire biztos bennük.
A Jev alapvetően univerzális osztályozó. Az osztályozók a gépi tanulás klasszikus eszközei: például egy levélszemétszűrő azt tanulja meg, hogy egy új e-mail a spamhez vagy a nem spamhez hasonlít-e. Hagyományosan minden új osztályozási feladathoz adatokat kell gyűjteni és címkézni, majd külön modellt kell betanítani.
A Jev mögött álló csapat a Vercel ismertetése szerint egy nagy nyelvi modellből alakított ki olyan osztályozót, amelyet nem kell egyetlen konkrét területre külön betanítani. A modell széles körű emberi tudásra épít, miközben osztályozóként viselkedik. A Vercel szerint olcsó és gyors, strukturált JSON-t ad vissza szöveg generálása helyett, a válaszai pedig követik a fejlesztő által megadott típusokat és választási lehetőségeket.
Egyetlen fő függvény a Python SDK-ban
A Jev hivatalos API-ja az evaluate() függvényre épül. Ez egy modellt, egy állapotot, valamint kérdések leképezését kapja meg. Az állapot lehet egyszerű karakterlánc vagy összetett JSON-adat.
A kérdések három típusba sorolhatók. A ChoiceQuestion egy válasz kiválasztására szolgál, a ScoreQuestion egy meghatározott skálán értékel, a NoulQuestion pedig annak valószínűségét becsüli meg, hogy egy állítás igaz-e.
A Vercel Python-csapata azért adta hozzá a támogatást az AI SDK for Python csomaghoz, hogy a Python-fejlesztők könnyebben kísérletezhessenek a modellel. A kipróbáláshoz a projektben az uv add ai paranccsal kell telepíteni az SDK-t, majd AI Gateway-kulcsot kell létrehozni, és be kell állítani az AI_GATEWAY_API_KEY környezeti változót.
A bemutatott példában a Jevnek azt kell eldöntenie, hogy a Nap vagy a Föld nagyobb. A kód a typesafe-ai/jev modellt választja ki, az eredményt pedig a visszaadott értékből olvassa ki.
A Python és az angol megkülönböztetése
A Vercel egyik gyakorlati kísérletében a Jevnek azt kellett osztályoznia, hogy egy Python REPL-be beírt részlet angol nyelvű szöveg vagy Python-kód. A szerző korábban saját osztályozót készített erre a feladatra, amelyhez véletlenszerűen kiválasztott Python-kódot és angol szöveget használt. Két nap munka után arra jutott, hogy az eredmény nem elég megbízható.
A Jev a beszámoló szerint jobban teljesített a kézzel készített osztályozónál, de nem volt hibátlan. A bemutató egyik példája szerint a „what's” + „ up részletet angolnak látta, miközben a szerző szerint ez egy részben begépelt Python-kifejezés volt. A kísérlet így azt mutatta meg, hogy a Jev hasznos lehet ilyen döntésekben, de a határesetek továbbra is problémát okozhatnak.
Szöveggenerálás helyett Python-kód szerkezete
A Vercel egy szokatlanabb próbát is végzett: azt vizsgálta, lehet-e a Jevet Python-kód írására használni. Mivel a modell nem szöveget generál, az egyik megközelítés az lett volna, hogy karakterenként választja ki a következő betűt, írásjelet vagy szóközt. Egy másik lehetőségként szavanként, előre meghatározott szókincsből dolgozhatott volna.
A betűk, Python-kulcsszavak és szóközök kombinációjára épülő első próbálkozás azonban alig tudott egy if utasítást létrehozni. A szerző ezért absztrakt szintaxisfát, vagyis AST-t használt. Egy nagy nyelvi modell, ebben az esetben a GPT-5.6, részletes utasításokra bontotta a felhasználói kérést, a Jev pedig egymást követő választásokkal építette fel a program fáját.
A modell minden lépésben látta az aktuális programot, a kitöltendő mezőt és a lehetséges következő csomópontokat. A hostkód kezelte az írásjeleket és a behúzást, a Jev pedig a program szerkezetéről és tartalmáról döntött. Az eredmény szintaktikailag érvényes, de többnyire hibás Python-kód lett. A Vercel szerint ez azt mutatja, hogy osztályozókkal nehéz egy nagy nyelvi modell feladatát elvégezni.
A Vercel arra biztatja a fejlesztőket, hogy próbálják ki a Jevet a Python SDK-val. A bemutató szerint a modell új kategóriájának lehetőségeit még csak most kezdik feltérképezni, a forráskód pedig GitHubon is elérhető azoknak, akik tovább kísérleteznének.
Vercel: Jev for Python engineers
