Open modellekkel csökkentené az értékelések költségét az Arize AX
Az Arize AX már támogatja a Together AI-t értékelési szolgáltatóként, így a csapatok nyílt modellekkel is tesztelhetik az LLM-as-a-Judge folyamatokat. Az integráció célja, hogy az értékelési minőség összevetése mellett a költségcsökkentési lehetőségek is láthatóvá váljanak.
- Az Arize AX támogatja a Together AI-t értékelési szolgáltatóként.
- A támogatott nyílt modellek LLM-as-a-Judge értékelésekhez és adatcímkézéshez használhatók.
- Az Arize AX Playgroundben modellek és utasítások eredményei hasonlíthatók össze.
- A Together AI közvetlenül csatlakoztatható egyedi végpont építése nélkül.
- Az Arize szerint az integráció segíthet felmérni az értékelési költségek csökkentésének lehetőségét.
Nyílt modellek az értékelési folyamatokban
Az Arize AI 2026. október 12-i közleménye szerint az Arize AX-be bekerült a Together AI támogatása. A Together AI OpenAI-kompatibilis API-n keresztül kínál hozzáférést nyílt modellek széles választékához. Az integrációval a támogatott Together AI-modellek használhatók az Arize AX LLM-as-a-Judge értékeléseihez, adatcímkézéshez és modell-összehasonlításhoz.
Az LLM-as-a-Judge olyan értékelési megközelítés, amelyben egy nyelvi modell az alkalmazás kimeneteit előre meghatározott szempontok alapján pontozza vagy vizsgálja. Az Arize szerint az ilyen munkafolyamatok gyakran nagy teljesítményű, úgynevezett frontier modellekre támaszkodnak, miközben egy kisebb és olcsóbb modell is elegendő lehet bizonyos feladatokra.
Összehasonlíthatóvá válik a minőség és a költség
Nagy léptékű értékeléseknél minden egyes teszt újabb modellhívást jelent. Az Arize példaként egy olyan csapatot említ, amely több ezer ügyfélszolgálati választ vizsgál egy frontier modellel. Ilyenkor az egyes értékelések költsége összeadódik, ezért felmerülhet egy olcsóbb nyílt modell használata.
A modellcsere előtt azonban ellenőrizni kell, hogy az új értékelő mennyire hasonló következtetésekre jut a jelenlegi modellhez, illetve megbízhatóan felismeri-e ugyanazokat a hibákat. A Together AI Arize AX-beli beállításával a csapatok saját értékelési szempontjaik alapján tesztelhetik a nyílt modelleket, majd összehasonlíthatják az eredményeket.
Az Arize AX Playgroundben különböző modellek és utasítások is kipróbálhatók ugyanazon bemeneteken. Így a választás nem kizárólag nyilvános teljesítményteszteken vagy árakon alapulhat, a csapatok saját adataikon mérhetik fel, hogy a lehetséges megtakarítás indokolja-e a váltást.
Beállítás és használat az Arize AX-ben
A Together AI kapcsolatához az Arize AX-ben a Settings → AI Providers menüpontot kell megnyitni, majd ki kell választani a Together AI-t és meg kell adni a Together AI API-kulcsot. A szolgáltató csatlakoztatása után a támogatott modellek az Arize AX Playgroundben és az értékelési munkafolyamatokban is használhatók.
A felhasználók értékeléseket futtathatnak, címkéket generálhatnak, valamint összevethetik a modellek teljesítményét. Az integrációhoz nem szükséges egyedi végpontot konfigurálni, illetve külön modellintegrációt építeni és karbantartani. Az Arize további beállítási részleteket a Together AI szolgáltatói integrációjának dokumentációjában ismertet.
Az Arize a gyártási költségeket is vizsgálná
Az Arize szerint az értékelési terhelés növekedésével a modellválasztás érdemben befolyásolhatja az AI-rendszerek kiadásait. A Together AI-integráció lehetőséget ad arra, hogy a csapatok olcsóbb nyílt modelleket próbáljanak ki, összehasonlítsák az értékelési eredményeket, és saját adataik alapján döntsenek az optimalizálásról.
A közlemény szerint az értékelési költségek csak az AI-kiadások egyik részét jelentik. Az Arize AX Cost Agent nevű, kezelt ügynöke a gyártási nyomkövetések elemzésével kereshet nem hatékony modellválasztásokat, felesleges hívásokat és más költségcsökkentési lehetőségeket. Az Arize AX használata ingyenesen is elindítható.
Arize AI: Together AI integration: Evaluate open models and optimize evaluation costs in Arize AX
