A Cloudflare megmutatja, ha egy AI-modell túl erős a feladathoz

A modellnév önmagában kevés információt ad

A Cloudflare szeptember 30-i bejelentése szerint a User Insights frissítése mögött az áll, hogy a modellnevek és a kérések száma önmagában nem mutatja meg, mire használják az AI-t. Ugyanannyi token mögött lehet kódellenőrzés, kutatási feladat, összefoglalás vagy egy olyan ügynök működése, amely egyetlen munka elvégzéséhez több alkalommal is modellt hív.

Az új funkciók megmutatják, amikor egy modell a Cloudflare értékelése szerint nagyobb képességű lehet annál, mint amit az adott feladat igényel. A csapatok azt is láthatják, mely felhasználók, ügynökök vagy alkalmazások kapcsolódnak ehhez a használathoz. Így megvizsgálhatják, hogy a modellt alapértelmezettként állították-e be, a felhasználók bizonytalanok-e a választásban, vagy egy ügynök minden lépéshez ugyanazt a modellt használja.

Az Overkill nézet nem választ automatikusan modellt

A Model Overkill nézet kiindulópontot ad annak felméréséhez, hogy illik-e a kiválasztott modell a feladathoz. A Cloudflare példája szerint előfordulhat, hogy egyszerű formázási vagy összefoglalási kérések egy nagy képességű, következtetésre építő modellhez kerülnek.

A nézet nem ranglista, és nem ajánl automatikusan helyettesítő modellt. A szervezetek összevethetik a késleltetést, a bemeneti és kimeneti tokeneket, a beszélgetési fordulók számát és a teljes költséget. Egy összetett kódolási vagy kutatási feladatnak szüksége lehet erősebb modellre, egy rövid összefoglalásnak vagy egyszerű osztályozásnak viszont nem feltétlenül.

A Cloudflare szerint a cél nem az, hogy minden kérést a legolcsóbb modellhez irányítsanak. A lényeg annak megértése, hogy a választott modell megfelelő-e az adott munkához, és a többletképesség javítja-e az eredményt.

A feladat típusát és a beszélgetés teljes költségét is vizsgálja

A Task Analysis a beszélgetéseket a végzett munka típusa szerint csoportosítja. A kezdeti kategóriák között szerepel a kódolás, a kutatás, az írás, az összefoglalás és az adatelemzés. Ez megmutathatja, hogy egy mérnöki csapat főként kódolásra és hibakeresésre használja az AI-t, míg egy másik szervezetnél a kutatás és az összefoglalás dominál.

A Turns Analysis azt vizsgálja, hány kérdés, javítás és utánkövetés szükséges egy feladat lezárásához. A hosszú beszélgetés önmagában nem feltétlenül probléma, összetett munkánál természetes lehet. Ha azonban egy egyszerű feladat több fordulót igényel, a csapat megvizsgálhatja a promptot, a modellt vagy a munkafolyamatot. A Cloudflare szerint az első kérés csak a költség egy része, ezért a teljes időt, tokenfelhasználást és ráfordítást is figyelembe kell venni.

Az Auto Router a megfelelő modell kiválasztását célozza

A User Insights frissítéseihez kapcsolódik a Cloudflare Auto Router funkciója, amely a bejelentés szerint zárt bétában érhető el. A rendszer a beszélgetés alakulását, a feladat kategóriáját, összetettségét és a modell illeszkedését használja fel, miközben a költséget is figyelembe veszi.

Az Auto Router a fejlesztőknek nem külön útválasztási szabályt ad minden munkaterheléshez, hanem az alkalmazás számára elérhető modellek közül választ. A Cloudflare szerint nem automatikusan a legolcsóbb modellt küldi minden kéréshez. Az összetett kódolási vagy kutatási feladatok továbbra is erősebb modellt kaphatnak, az egyszerűbb munkákhoz pedig gyorsabb vagy olcsóbb modell lehet megfelelő.

A User Insights képességei az AI Gateway felhasználói számára ingyenesen érhetők el. A kategorizálást egy erre a célra kialakított Cloudflare Worker végzi az arra jogosult AI Gateway-naplókon. A rendszer a beszélgetés menetét, a felhasználói kéréseket, az asszisztens válaszait, valamint az eszközhívásokat és azok eredményeit vizsgálja, majd kategóriát és megbízhatósági pontszámot ad. A Cloudflare szerint a feldolgozás aszinkron, vagyis a kérés kezelése után történik, és a User Insights összesített nézeteket mutat, nem nyers promptböngészőként működik.