A Cloudflare megmutatja, mikor túl erős AI-modellt használnak

A modell neve önmagában kevés információt ad

A Cloudflare szeptember 30-i bejelentése szerint a User Insights a felhasználók, alkalmazások, feladatok és modellek alapján mutatja meg, hogyan használják a szervezetek az AI Gateway-en átirányított forgalmat. A szolgáltatás a felhasználói és ügynöki rendellenességeket is kiemeli, így a csapatok még azelőtt vizsgálhatják ki a szokatlanul nagy költséget vagy használatot, hogy abból nagyobb probléma lenne.

A frissítés hátterében az áll, hogy a modellnevek és a kérések száma önmagában nem mutatja meg, milyen munkát végez a rendszer. Egy kérés lehet kódellenőrzés, kutatási feladat vagy több modellhívást igénylő ügynöki folyamat. A Cloudflare szerint ugyanannyi token nagyon eltérő munkát jelenthet, ezért a modellválasztás értékeléséhez a feladatot is figyelembe kell venni.

Megmutatja, hol lehet túlméretezett a modellválasztás

Az új Overkill nézet azokat a beszélgetéseket keresi, amelyeknél a kiválasztott modell valószínűleg nagyobb képességű, mint amire a feladat megoldásához szükség van. Ilyen eset lehet, amikor egyszerű formázási vagy összefoglalási kéréseket egy nagy képességű következtető modellhez küldenek.

A csapatok azt is láthatják, mely felhasználók, ügynökök vagy alkalmazások kapcsolódnak ehhez a mintához. Ezután megvizsgálhatják, hogy a modell azért lett-e használva, mert alapértelmezettként van beállítva, a felhasználók bizonytalanok a választásban, vagy egy ügynök minden lépéshez ugyanazt a modellt alkalmazza.

A nézet nem ranglista, és nem ajánl automatikusan másik modellt. A Cloudflare szerint a cél annak felmérése, hogy az adott modell megfelelő-e a feladathoz, javítja-e az eredményt a többletképessége, illetve elérhető lenne-e hasonló eredmény gyorsabb vagy olcsóbb modellel. A döntés előtt összevethető a költség, a késleltetés, a bemeneti és kimeneti tokenek száma, valamint a beszélgetés fordulóinak száma.

A feladat típusát és a teljes folyamat költségét is elemzi

A Task analysis a beszélgetéseket a végzett munka típusa szerint csoportosítja. A kezdeti kategóriák között szerepel a programozás, a kutatás, az írás, az összefoglalás és az adatelemzés. Így egy csapat láthatja, hogy főként kódolásra és hibakeresésre használja-e az AI-t, vagy inkább kutatásra és összefoglalásra.

A Turns analysis azt mutatja meg, mennyi oda-vissza interakció szükséges a különböző feladatok lezárásához. A Cloudflare kiemeli, hogy a hosszú beszélgetés önmagában nem probléma, különösen összetett munkáknál. Ha azonban egy egyszerű feladat rendszeresen több fordulót igényel, érdemes lehet megvizsgálni a promptot, a modellt vagy a munkafolyamatot.

A vállalat szerint az első kérés csak a teljes költség egy része. A csapatoknak azt is figyelniük kell, mennyi időt, tokent és pénzt emészt fel a feladat a befejezésig. Az új Potential Savings nézet azokat a kéréseket segít azonosítani, amelyeket a kimenet minőségének romlása nélkül gyorsabb vagy olcsóbb modell is kezelhet.

Az adatokból automatikus útválasztás is készülhet

A User Insights elemzései az Auto Router működését is támogatják. A Cloudflare közlése szerint az Auto Router a beszélgetés alakulását, a feladat kategóriáját és összetettségét, valamint a modell illeszkedését figyelembe véve választ a szóba jöhető modellek közül, a költséget is számításba véve. A cél nem az, hogy minden kérés a legolcsóbb modellhez kerüljön. Az összetett kódolási vagy kutatási feladatok továbbra is igényelhetnek nagyobb képességű modellt.

Az Auto Router a bejelentés szerint zárt bétában érhető el, míg a User Insights új képességei az AI Gateway felhasználói számára ingyenesek. A Cloudflare szerint a csapatok először azonosíthatják és adatokkal ellenőrizhetik a túlméretezett modellhasználatot, majd ebből automatikus útválasztási döntést alakíthatnak ki.

A forgalom besorolását egy külön Cloudflare Worker végzi az arra jogosult AI Gateway-naplók feldolgozásával. A rendszer a felhasználói kéréseket, az asszisztens válaszait, az eszközhívásokat és azok eredményeit vizsgálja, majd kategóriát és megbízhatósági pontszámot ad. A besorolás aszinkron, vagyis az AI Gateway a kérés kezelése után történik. A User Insights származtatott kategóriákat és összesített nézeteket jelenít meg, nem nyers promptböngészőként működik.