A Factory Router 63 százalékkal csökkentette a következtetés költségét

A megtakarítás meghaladta a korábbi teszteredményt

A Factory júniusban mutatta be a Factory Routert. A vállalat akkori összehasonlító tesztjei 20 és 25 százalék közötti költségcsökkenést jeleztek úgy, hogy a feladatok teljesítési aránya közel maradt a vezető modellekéhez. A szeptember 23-i közlemény szerint a produkciós eredmények ennél kedvezőbbek lettek.

A szeptember 13-án zárult héten a Routerrel futtatott munkamenetek összesített költsége 63 százalékkal volt alacsonyabb annál, amennyibe ugyanaz a terhelés a közzétett frontier modellárakon került volna. Az összesített heti megtakarítás június végén még 42 százalék volt, vagyis 21 százalékponttal emelkedett. Közben a Routerrel futtatott munkamenetek száma nagyjából megnégyszereződött.

A Factory szerint a javuláshoz az erősebbé váló hatékony modellek, az alacsonyabb következtetési árak, a Router fejlesztései és a szervezetenként beállított útválasztási irányelvek is hozzájárultak.

A rendszer feladatonként választ modellt

A költségcsökkentéshez nem kell minden feladatot kisebb modellhez rendelni. A Factory Router akkor választ hatékonyabb modellt, ha az megbízhatóan képes elvégezni a munkát, és erősebb modellre vált, amikor erre van szükség.

A Factory közzétett feladatteljesítési mérései alapján az útválasztott futtatások a Claude Opus 4.7 teljesítési arányának 99 százalékát érték el a Terminal-Bench 2 teszten, a Legacy-Bench esetében pedig 96 százalékot. A vállalat új modelleket értékel, majd akkor adja hozzá őket a Routerhez, ha azok a költség és a teljesítmény szempontjából Pareto-optimális eredményt mutatnak. A modellválasztást ezt követően összesített produkciós jelek alapján finomítja.

Így az új modellekből származó előnyök automatikusan bekerülnek a modellválasztásba. Az egyes fejlesztőknek nem kell minden új modellt külön megvizsgálniuk. A Factory példaként említi, hogy egy megszokott hibajavítás vagy mechanikus kódátalakítás olcsóbban hajtható végre akkor is, ha maga a feladat nem változik.

A szervezeti rendszergazdák szabályokat állíthatnak be a munkafolyamatok, a kódbázis környezete, az eszközláncok, a modellpreferenciák és a költségigények alapján. Egy csapat például rutinfeladatként kezelheti a dokumentáció frissítését és a mechanikus refaktorálást, miközben egy kritikus szolgáltatást érintő módosításhoz mélyebb következtetést írhat elő.

A munkamenetek többsége legalább felére olcsóbb lett

A Factory szeptember 5. és 18. közötti adatai szerint az útválasztott produkciós munkamenetek 84 százalékánál legalább 50 százalékos megtakarítás jelentkezett a frontier modellárakhoz képest. Körülbelül egyharmaduk legalább 80 százalékkal került kevesebbe, az egy munkamenetre jutó medián megtakarítás pedig 72,5 százalék volt. Ugyanebben az időszakban az összesített megtakarítás 60 százalékot tett ki.

A Factory közleménye szerint ezek az eredmények a Factory által kezelt következtetést, valamint a vállalat közzétett árait használó produkciós munkamenetekre vonatkoznak. A megtakarítások növekedéséhez az is hozzájárul, hogy a szervezetek egyre több ismétlődő és önálló munkafolyamatot irányítanak át a Routeren keresztül. Ez növeli azoknak a feladatoknak az arányát, amelyekhez hatékonyabb modellek is elegendők.

A Factory Private a szervezeten belül tartja a folyamatot

A Factory Router már a Factory Private szolgáltatásban is elérhető, jelenleg privát előzetes hozzáféréssel. A csapatok saját virtuális magánhálózatukban, helyszíni infrastruktúrájukon vagy internetkapcsolat nélküli, elkülönített hálózaton futtathatják az útválasztást és a következtetést.

A Factory Private az Auto Model funkción keresztül belsőleg üzemeltetett modellvégpontokat is használhat. A modellválasztási és a feladatvégrehajtási hívások a szervezet által beállított végpontokra mennek, és a Droid erősebb modellre is válthat az engedélyezett modellek között. A közlemény szerint ehhez nem kell kérésnek a Factory által kezelt következtetéshez eljutnia, miközben a vezérlősík és az érzékeny adatok is a szervezet virtuális magánhálózatában vagy helyszíni környezetében maradhatnak.

A Factory Router a Droid modellválasztójában Auto Modelként érhető el. A szervezetek alapértelmezetté tehetik, valamint az Enterprise Controls felületén útválasztási irányelveket és szabályokat állíthatnak be. A Factory Private megtakarítása az adott szervezet által konfigurált modellektől és a hozzájuk fizetett áraktól függ.