Az Anthropic tényleg javított Claude stílusán, de nem tüntette el teljesen
Az Opus 5.5 valóban sokkal kevesebb em dash jelet és Claude-ra jellemző fordulatot használ, mint az Opus 5, de az Arize AI vizsgálata szerint a probléma nem tűnt el teljesen. A tesztben a jellegzetes stílusjegyek aránya nagyjából a felére csökkent.
- Az Opus 5.5 teljes, 57 000 szavas kimenetében két em dash szerepelt.
- Az Opus 5 ezer szavanként 12,9 em dash jelet használt.
- A Claudismok aránya 4,79-ről 2,38-ra csökkent ezer szavanként.
- Az Arize 20 rögzített írásfeladaton, modellenként két futtatással tesztelt.
- A vizsgálat szerint a probléma főként retorikai mintákból, nem egyetlen szólistából áll.
Húsz írásfeladaton hasonlították össze a modelleket
Az Arize AI 2026. szeptember 29-én közzétett elemzésében azt vizsgálta, igazak-e az Anthropic állításai az Opus 5.5 írási stílusáról. Az Anthropic az új modell bejelentésekor azt írta, hogy jelentős javulást ért el az Opus 5.5 írásában és kommunikációjában, illetve a modell kevésbé hajlamos szakzsargont és egyedi fordulatokat használni. A cég munkatársai ennél tömörebben fogalmaztak: Sholto Douglas szerint „kijavítottuk az írást”, Tom Brown pedig azt írta, hogy „kijavítottuk a kiejtést”.
Az Arize vizsgálata öt műfajt és öt tématerületet fedett le. A kutató 20, blogbejegyzésekhez készült kutatási összefoglalót használt, amelyek véleménycikkekhez, technikai magyarázatokhoz, útmutatók bevezetőihez, hírmagyarázatokhoz és termékbejelentésekhez készültek. A témák között az AI, az utazás, a főzés, a játékok és a könyvek szerepeltek.
Mindkét modell ugyanazt a promptot kapta, a gondolkodási erőfeszítést közepes szinten rögzítették, és modellenként két futtatást végeztek. Így négy kísérlet, 80 bejegyzés és körülbelül 110 000 szó keletkezett.
A vizsgálat szerint az em dash szinte eltűnt
Az egyik legegyértelműbben mérhető változás az em dash, vagyis a hosszú gondolatjel használatában jelent meg. Az Opus 5 ezer szavanként átlagosan 12,9 ilyen jelet használt. Az Opus 5.5 teljes, 57 000 szavas kimenetében összesen kettő szerepelt.
Az Arize kóddal végzett számlálása szerint ez 0,05 em dash jelet jelent ezer szavanként, ami 99,6 százalékos csökkenés az Opus 5-höz képest. Az eredményt nem nyelvi modell értékelte, ezért a mérésben nem volt bírómodellből adódó bizonytalanság.
A kutatás az úgynevezett Claudismokat is mérte. Ide tartoznak az olyan fordulatok és retorikai megoldások, amelyek az elemzés készítője szerint gyakran jelennek meg Claude szövegeiben, például amikor egy szöveg kijelenti, hogy valami fontos, ahelyett, hogy megmutatná, miért fontos.
A jellegzetes fordulatok feleződtek, de megmaradtak
Az Arize munkatársa az Opus 5 40 bejegyzését, összesen 53 000 szót kézzel nézte át, és 153 jelölést készített 38 bejegyzésben. A korábban összeírt konkrét kifejezések, például a „load-bearing” és a „delve”, mindössze kilencet magyaráztak meg a 153 jelölésből. A „load-bearing” kifejezés az Opus 5 53 000 szavában háromszor fordult elő.
Ez alapján a szerző arra jutott, hogy a probléma elsősorban nem bizonyos szavak használata, hanem visszatérő retorikai megoldások kérdése. A leggyakoribb csoport az volt, amikor a szöveg egy állítás fontosságát hangsúlyozta. Ezt követték az ellentétre épülő újrafogalmazások, az ítéletet megerősítő fordulatok, a bevezető jellegű, az olvasót egy állítólagos felismerésre felkészítő mondatok, valamint a „gotcha framing” és a sablonos metaforák.
A span alapú értékelő az Opus 5 esetében 4,79, az Opus 5.5 esetében 2,38 Claudismot talált ezer szavanként. Ez körülbelül 50 százalékos csökkenés. Az Arize következtetése szerint az Opus 5.5 írása javult, de a Claude-ra jellemző stílusjegyeket nem tüntette el teljesen.
