A Twilio AI-val frissített 1138 hibakód-dokumentációs oldalt
A Twilio 12 hét alatt 1138 API-hibakódhoz tartozó dokumentációs oldalt frissített mesterséges intelligenciával. A vállalat szerint minden egyes változtatást ember vizsgált felül, a folyamatot pedig nyílt forrású prompttal és ellenőrzési lépésekkel támogatták.
- A Twilio 12 hét alatt 1138 hibakódoldalt frissített AI segítségével.
- Az audit 2692 oldalból 2479-et jelölt javításra.
- A gpt-5.4 modellt az OpenAI Responses API-ján keresztül használták.
- Minden módosítást ember ellenőrzött, a modell pedig elutasíthatta a felesleges javítást.
- A Twilio nyílt forrásúvá tette a használt promptot.
Több mint ezer oldal került sorra
A Twilio 2026. szeptember 16-án közzétett beszámolója szerint a hibakód-dokumentációt azért kellett átdolgozni, mert ezekhez az oldalakhoz jellemzően akkor fordulnak a fejlesztők, amikor már valami elromlott. A vállalat hibakódkatalógusa az audit idején nagyjából 2692 kódot tartalmazott, a bejegyzés készítésekor pedig már több mint 3200-at, mivel az új termékekkel együtt új hibakódok is megjelennek.
A Twilio szerint az audit 2479 oldalt jelölt frissítésre, 213-at pedig kézi ellenőrzésre választott ki. A vállalat a legrosszabb állapotú oldalakkal kezdett, és eddig 1138-at fejezett be. A dokumentációs csapat azért vállalta a munkát, mert így gyorsabban lehetett egységesíteni az oldalakat. Kézzel egy oldal javítása körülbelül két írói munkanapot igényelne, a teljes katalógus pedig hozzávetőleg 18 000 órát venne igénybe.
Előbb pontozás, utána AI
A Twilio nem minden oldalt küldött automatikusan nyelvi modellhez. Egy egyszerű, nyelvi modell nélküli program először 100 pontos skálán értékelte az oldalakat három szempont alapján. A szerkezet legfeljebb 50, a tartalom 35, a hasznos és megfelelően formázott hivatkozások pedig 15 pontot értek. A 40 karakternél rövidebb törzsszöveget nem tekintették valódi tartalomnak.
A 70 pont alatti oldalak bekerültek a javítási folyamatba, a 70 és 84 pont közötti eredmények emberi ellenőrzést kaptak, a legalább 85 pontos oldalakat pedig érintetlenül hagyták. A Twilio szerint ezzel csökkenthető annak költsége és kockázata, hogy a már megfelelő oldalakat is feleslegesen módosítsa a modell.
A feldolgozási folyamat több, külön ellenőrizhető lépésből állt. A rendszer kiválasztotta a következő hibakódot, meghívta a modellt, megtisztította a kimenetet, javításként alkalmazta azt, lefuttatta a lintelést, majd commitot és pull requestet készített. A Twilio az OpenAI Responses API-ján keresztül a gpt-5.4 modellt használta, egyszerűbb oldalaknál pedig a gpt-5.4-mini és gpt-5.4-nano modellekre is lehetett váltani.
A modell akár változtatás nélkül is kiléphetett
A vállalat promptja több korlátot is tartalmazott. Az AI-nak közvetlen, útmutató jellegű stílusban kellett írnia, nem gyárthatott állításokat vagy forrásokat, legfeljebb három további hivatkozást adhatott hozzá, és nem linkelhette egyik hibakódoldalt a másikhoz.
A folyamat egyik fontos szabálya az volt, hogy a modellnek meg kellett engedni a változtatás elutasítását. Ha nem talált javítanivalót, pontosan ezt a választ kellett adnia: „Nem találok semmit, amit hozzáadhatnék ehhez az oldalhoz.” A kódpéldák védelmére hash-ellenőrzést is alkalmaztak, hogy a modell ne tudja észrevétlenül átírni azokat.
A Twilio munkatársai minden fázist felügyeltek. A technikai ellenőrzést Ana Benites, Ryan Chinn és Elmer Thomas végezte. Kezdetben körülbelül 30 oldalas pull requestekkel dolgoztak, később, amikor már megbízhatóbbnak ítélték a folyamatot, mintegy 100 oldalra növelték a csomagokat. A vállalat a promptot nyílt forrásúvá tette a docs-ai-buddy gyűjtemény részeként, így más dokumentációs csapatok is kipróbálhatják a megközelítést.
Twilio: How we AI-updated 1,138 Error-code Docs Pages
