Az OpenRouter a felhasználói költés alapján választ modellt

A közösségi használat alakítja a modellválasztást

Az OpenRouter augusztus 10-én jelentette be az Auto router jelentős frissítését. A szolgáltató szerint a rendszer az OpenRouteren mért, heti több mint 55 billió tokennyi költésből származó jeleket használja fel a modellválasztáshoz.

Az új megközelítés alapja, hogy az adott feladattípushoz azokat a modelleket részesíti előnyben, amelyekre a közösség a legtöbbet költött az elmúlt 7 napban. Emiatt a router az OpenRouter szerint néhány napon belül követheti, ha a felhasználók egy új modellre helyeznek át egy munkafolyamatot.

A vállalat a korábbi Auto routerhez képest többféle feladaton és költségszinten vizsgálta az új rendszert. A tesztelésben több ezer ember vett részt az elmúlt hetekben, az új változatot pedig a bejelentés napján minden Auto router-felhasználó számára elérhetővé tették.

Öt költségszint és feladattípusonkénti rangsorolás

A router először egy gyors osztályozóval körülbelül 30 részletes feladattípus valamelyikébe sorolja a promptot. Ilyen kategória lehet például a kódhibakeresés, a több lépésből álló ügynöki tervezés, a tudásalapú kérdésválaszolás, a matematika, az ügyféltámogatás vagy a kutatási jelentés.

Ezután az adott kategóriában az OpenRouter közösségének előző 7 napos költési adatai alapján rangsorolja a modelleket. A felhasználó a cost_tier paraméterrel öt szint közül választhat: low, medium, high, xhigh és max. A low a feladathoz megfelelő legolcsóbb modellek felé irányít, a max pedig a leginkább képes, drágább modellek közül választ.

A kiválasztott modell mellett tartalékmodellek is szerepelnek, a használati arányuk szerint rendezve. A router figyelembe veszi a kéréshez és a fiókhoz tartozó korlátozásokat, köztük az engedélyezett modelleket, a védelmi beállításokat és a ZDR-szabályokat. Ha az osztályozás vagy a rangsorolási adatok nem érhetők el, a rendszer egy alapértelmezett modellkészletre vált.

A többfordulós beszélgetésekben az Auto router igyekszik ugyanazon a modellen maradni, amíg az továbbra is a feladathoz legjobb jelöltek között van. Ez csökkentheti a modellváltások miatt újból felépítendő bemeneti gyorsítótár költségét. A beszélgetést explicit session_id vagy az üzenetekből képzett ujjlenyomat alapján azonosítja.

A tesztek szerint több területen csökkent a költség

Az OpenRouter öt különböző területen végzett összehasonlítást: az MMLU Pro a tudást, a τ³-bench Banking az ügynöki feladatokat, a WideSearch a keresést, a DSQA a kutatást, a SWE-Atlas QnA pedig a kódolást mérte.

Az új alapértelmezett beállítás a MMLU Pro teszten 85,2 százalékos, a τ³-bench Bankingen 20,6 százalékos, a WideSearchben 61,6 százalékos, a DSQA-n 62,9 százalékos, a SWE-Atlas QnA-n pedig 30,4 százalékos eredményt ért el. Az új maximális költségszinten ezek az értékek rendre 91,4, 31,6, 61,9, 63,0 és 60,7 százalék voltak.

A szolgáltató költség-összehasonlítása szerint az új alapértelmezett router költsége az MMLU Pro esetében 140,93 dollár, a WideSearchnél 30,75 dollár, a SWE-Atlas QnA-nál pedig 297,23 dollár volt. Az eredmények feladattípusonként eltértek, a DSQA-n az új alapértelmezett beállítás 276,00 dolláros értéket mutatott, szemben a régi 147,11 dollárjával.

Az OpenRouter hangsúlyozza, hogy ezek az eredmények egy adott időpontot tükröznek, és a közösségi preferenciák változásával módosulhatnak. A rangsorolás összesített, anonimizált költési statisztikákra épül, a promptokat pedig a rendszer feldolgozás közben osztályozza, megőrzésük nélkül.

Így próbálható ki az új router

Az Auto router ott használható, ahol egyébként modellt lehet megadni. A felhasználónak az openrouter/auto értéket kell megadnia, a kiválasztott modellt pedig a válasz model mezője jelzi. A router használatáért nincs külön díj, a szolgáltató szerint az adott modell szokásos díjszabása érvényes.

A korábbi, numerikus cost_quality_tradeoff paraméter visszamenőleges kompatibilitás miatt továbbra is működik. Ha ezt és a cost_tier beállítást egyszerre küldik, a régi paraméter élvez elsőbbséget. Azok, akik a legújabb routing-viselkedéseket szeretnék kipróbálni, az openrouter/auto-beta változatot használhatják, ahol az új fejlesztések az általános kiadás előtt jelennek meg.