Az open-weight modellek készen állnak a gyártásra, de a stack is?

A költség helyett a teljesítmény és az irányítás került előtérbe

A Kilo Code október 14-i beszámolója szerint az open-weight modellek az elmúlt év nagy részében még inkább kísérleti technológiának számítottak. A csapatok kipróbálták és összevetették őket, a termelési forgalmat azonban jellemzően zárt API-kon tartották. Ez a helyzet gyorsan változik.

A panelen Ari Messer, az Anaconda AI-partnerségi vezetője arról beszélt, hogy ügyfeleik között már biotechnológiai vállalatok, nagy bankok és fintechcégek is egyre inkább ebbe az irányba mozdulnak. Elmondása szerint a kezdeti beszélgetések gyakran a költségről szóltak, most viszont nagyobb hangsúlyt kap a teljesítmény és az irányítás.

Victor Su-Ortiz, a MiniMax termékmarketingért és fejlesztői kapcsolatokért felelős munkatársa szerint a teljesítmény nem feltétlenül általános benchmarkeredményeket jelent. A vállalatok azt vizsgálják, hogy egy modell mennyire működik jól egy adott területen, például a jogban vagy az egészségügyben. Emiatt egyre több csapat finomhangolja és utótréningeli az open-weight modelleket saját igényeire. A költség és a sebesség közben továbbra is fontos, a Kilo beszámolója szerint a nyilvános OpenRouter- és OpenCode-adatokban a gyors, olcsó Flash-modellek vezetnek.

A modell önmagában nem garantál megbízható ügynököt

Yunmo Koo, a Friendli AI alapító mérnöke szerint a legfontosabb váltás a modellközpontú gondolkodásról a rendszerközpontú megközelítésre való átállás. Kísérleti környezetben elég lehet egy modellkártya és egy egyszerű próba, éles használatban viszont azt kell mérni, hogy a modell megbízhatóan végigvisz-e egy összetett ügynöki folyamatot a meghatározott késleltetési és költségkereten belül.

Koo egy szemléletes példát is hozott: ha egy végpont megbízhatósága 95 százalék, egy tízlépéses ügynöki lánc végponttól végpontig mért megbízhatósága körülbelül 60 százalékra eshet. Ezért a siker feltételeit a teljes munkafolyamatra kell meghatározni, nem egyetlen modellhívásra.

A panel résztvevői szerint az open weights önmagukban nem biztosítanak jobb gazdaságosságot vagy teljesítményt. A modell kiválasztása és az inference konfigurációja a használó felelősségévé válik, ezért az infrastruktúraszolgáltatót partnerként kell kezelni. A nyilvános benchmarkok mellett saját munkaterhelésen végzett tesztekre, értékelésekre és megfigyelhetőségre is szükség van.

Hosszú kontextus, gyorsabb inference és több felelősség

A MiniMax M2 és M3 sorozata közötti tervezési változások egyik középpontjában a hosszú távú ügynöki feladatok álltak. A beszámoló szerint az egymást követő ügynöki lépések miatt az egymillió tokenes kontextusablakok szabványossá váltak. A MiniMax erre ritka, úgynevezett sparse architektúrát és saját KV-cache optimalizációkat használ.

Koo szerint a laborok egyszerre próbálják növelni az intelligenciát és a hatékonyságot hibrid figyelemmel, cache-tömörítéssel és ritka indexeléssel. Egy elméleti architekturális előny azonban nem feltétlenül jelenik meg gyorsabb valós rendszerként. A lineáris figyelem például nem szabványos KV-cache-t használ, és célzott motormunka nélkül még lassíthatja is az inference-t.

Az open-weight modellek nagyobb vállalati kontrollt, ezzel együtt több felelősséget adnak. A panelen a biztonsági tesztelés, a red teaming és az ügynök viselkedésének vizsgálata is visszatérő téma volt. Az Anaconda az idén felvásárolt Enkrypt AI segítségével a modelleket és az azokat használó ügynököket is teszteli különböző környezetekben.

A felhasználóknak a panel tanácsa szerint érdemes Flash-modellel kezdeniük, majd saját területükre specializált modellek, finomhangolás vagy utótréning felé lépniük. Az értékelést és a megfigyelhetőséget minden ügynöki lépésbe be kell építeni, miközben végponttól végpontig követik a megbízhatóságot, a késleltetést, az áteresztőképességet és a költséget. A résztvevők a hibák és tapasztalatok megosztását is fontosnak tartják, mivel a tool call hibái a csapat közös tudásához tartoznak.