A Vercel Python SDK-t adott a Jev kísérleti AI-modellhez

A Jev osztályozóként működik

A Vercel október 2-i bemutatása szerint a Jev egy új típusú AI-modell, amelynek adatokat és feleletválasztós kérdéseket lehet adni. A válaszok mellett azt is jelzi, mennyire biztos az egyes döntésekben. A modell hibázhat, a Vercel szerint viszont gyorsan hozza meg a döntéseit.

A vállalat a Jevet univerzális osztályozóként írja le. A klasszikus gépi tanulási osztályozókhoz hasonlóan például azt döntheti el, hogy egy e-mail kéretlen levél-e. A hagyományos megközelítésnél minden új feladathoz adatokat kell gyűjteni és címkézni, majd külön osztályozót kell tanítani. A Jev mögött álló csapat ehelyett egy nagy nyelvi modellből alakított ki olyan rendszert, amelyet nem kell minden szakterületre külön betanítani.

A Jev szöveg generálása helyett strukturált JSON-t ad vissza. A válaszai igazodnak a fejlesztő által meghatározott típusokhoz és választási lehetőségekhez. A Vercel szerint a modell olcsó és gyors, azt viszont a felhasználónak kell kipróbálnia, hogy az adott feladatra elég pontos-e.

Egyetlen fő függvény a Python SDK-ban

A Vercel AI SDK for Python új kiadása kísérleti evaluate() API-t kínál a Jevhez. A csomag az uv add ai paranccsal telepíthető, a használathoz pedig AI Gateway-kulcsot kell létrehozni, majd beállítani az AI_GATEWAY_API_KEY környezeti változót.

Az API egy modellt, egy állapotot és kérdések leképezését fogadja. Az állapot lehet egyszerű szöveg vagy összetett JSON. A kérdések három típusba tartozhatnak: a ChoiceQuestion egy lehetőség kiválasztására szolgál, a ScoreQuestion egy meghatározott skálán értékel, a NoulQuestion pedig egy állítás igazságának valószínűségét becsüli.

A Vercel példakódja a typesafe-ai/jev modellt tölti be, majd azt kérdezi, hogy a Nap vagy a Föld nagyobb-e. Az eredményből a program a bigger mező értékét írja ki. A vállalat Python-fejlesztőknek szánja a kiadást, hogy könnyebben kísérletezhessenek a modellel.

Python-kód felismerése és előállítása

A Vercel egyik bemutatott felhasználási esete annak eldöntése, hogy egy beírt részlet angol szöveg vagy Python-kód. A szerző korábban saját osztályozót tanított erre a feladatra, de az eredmény bizonytalannak bizonyult. A Jev jobban teljesített ennél a kézzel készített megoldásnál, de neki is akadtak hibái. A bemutatott példák között szerepel, hogy a what's és az up részletet angolnak látta, miközben a szerző szerint ez egy részben beírt Python-kifejezés volt.

A második kísérletben a Vercel azt vizsgálta, képes-e a Jev Python-kódot írni. A modell közvetlenül nem tud szöveget generálni, ezért először karakterenként, később szavanként próbálták volna használni. Ez nem adott értelmes eredményt, így a megközelítést absztrakt szintaxisfára, vagyis AST-re építették át.

Ebben a felállásban egy LLM, a példában GPT-5.6, részletes utasításokká alakítja a felhasználói kérést. A Jev ezután választások sorozatán keresztül építi fel a Python-program szintaxisfáját. A módszerrel sikerült szintaktikailag érvényes, de többnyire hibás Python-kódot előállítani. A Vercel következtetése szerint az osztályozók használata nyelvi modellként nehéz feladat.

Kísérleti eszköz fejlesztőknek

A Vercel mindkét kísérletet részben sikertelennek írja le, ugyanakkor további lehetőségeket lát a Jevben. A vállalat kész, másolható utasítást is közzétett kódoló ügynökök számára. Ez egy olyan minimális játszóteret kér, amely soronként fogadja a bemenetet, Python vagy angol szövegként osztályozza, majd kiírja a választást, a valószínűségeket, a bizonyosságot és a késleltetést.

A kipróbáláshoz Python 3.12 vagy újabb verzió, az AI SDK for Python, egy AI Gateway-kulcs és az AI_GATEWAY_API_KEY változó szükséges. A Vercel arra kéri a fejlesztőket, hogy teszteljék a Jevet saját feladataikon, és osszák meg, mire használják.