A 1Password 21 százalékos mérnöki termelékenységjavulást mér Codexszel

Gyorsabb út a tervtől az éles funkcióig

A 1Password a Codexet arra használja, hogy lerövidítse az ötletek, a prototípusok és az élesben működő funkciók közötti utat. Az OpenAI közlése szerint a vállalat a szoftverszállítási életciklus egészébe illesztette be a rendszert, így a tervezéstől a gyártásig több fejlesztési lépésben is támaszkodik rá.

Nancy Wang, a 1Password technológiai igazgatója az OpenAI esettanulmányában úgy fogalmazott: „Sok mérnökünk számára igazán szemfelnyitó volt, hogy lerövidült az életciklus a tervezés és aközött, hogy egy funkciót éles környezetben lássunk.”

A vállalatnál a Codex jól meghatározott felhasználói történetekből és instrukciókból dolgozik. Wang szerint a rendszer így csökkentette azt az iterációs munkát, amelyre a mérnöki felülvizsgálat előtt szükség volt. A 1Password példái között belső eszközök és ügyfeleknek szánt termékek is szerepelnek.

Az egyik ilyen példa a Knox, egy teljesen ügynökalapú frontend dizájnrendszer, amely új felületek építésében segíti a 1Password csapatait. Az OpenAI említ még egy belső AI site reliability engineering, röviden SRE ügynököt, valamint egy AI költésmenedzsment-eszközt is.

Hol használják a Codexet a fejlesztési folyamatban

Az OpenAI leírása szerint a Codex a 1Passwordnél a tervezéstől az éles üzem vizsgálatáig több ponton jelen van. A rendszer kérésekből specifikációkat, függőségi ellenőrzéseket és munkatételeket készít, a megvalósítás során pedig segít a mérnököknek eligazodni ismeretlen Rust és TypeScript kódbázisokban.

A Codex a pull requestek felülvizsgálatában is szerepet kap: az emberi ellenőrzés előtt átnézi a változtatásokat, és jelzi a logikai problémákat vagy a hiányzó kontextust. A tesztelésnél és a kiadásra való felkészülésnél elfogadási kritériumokat és automatizált teszteket futtat más munkákkal párhuzamosan.

A 1Password a rendszert belső alkalmazásbiztonsági keretrendszeréhez is kapcsolta. A forrás szerint a titokhivatkozások azt szolgálják, hogy a nyílt szövegű hitelesítő adatok ne kerüljenek be a modell kontextusába. Éles környezetben végzett vizsgálatoknál a Codex incidenskezelésből, telemetriából, forráskezelésből, riasztási rendszerekből és feature flag adatokból is gyűjthet bizonyítékokat.

Wang szerint a Codex a kért funkciót funkcionális specifikációkra bontja, majd közel végleges prototípust készít, amelyet a rendszermérnökök a backendbe építhetnek. Az OpenAI szerint ez csökkentette az átadási időt, és javította a mérnöki termelékenységet.

Mért eredmények és modellezett üzleti hatás

A 1Password mérnöki csapatai 20,9 százalékos termelékenységjavulást és 10,9 százalékos csökkenést mértek a medián pull request ciklusidőben. Az OpenAI esettanulmánya szerint egy mérnök, aki a megszokott technológiai területén kívül dolgozott, egy tipikusan háromnapos merge-folyamatot egy napra rövidített.

Egy fix bétaindítási határidővel dolgozó csapat négy, kiadás szempontjából kritikus jegyet zárt le a nagyjából két várható helyett. Egy több mint 10 mikroszolgáltatást érintő hiba esetében a vizsgálati idő körülbelül két óráról 5 és 20 perc közötti időre csökkent.

Az OpenAI által közölt modell szerint 50 következetesen aktív Codex-fejlesztőnél az éves mérnöki kapacitás értéke 783 750 dollár. A számítás 250 000 dolláros, teljes költséggel számolt éves fejlesztői költségen, 20,9 százalékos mért termelékenységjavuláson, 40 százalékos irányadó Codex-hozzájáruláson és 75 százalékos produktív kapacitásrealizáción alapul.

A 1Password ugyanebben a modellezett, 50 felhasználós körben körülbelül 784 000 dolláros éves mérnöki kapacitást és 553 százalékos ROI-t becsül, a kapacitást pedig termékfejlesztésbe és belső innovációba forgatja vissza. 100 következetes felhasználónál a modellezett éves kapacitásérték körülbelül 3,1 millió dollárt érhet el, azzal a feltételezéssel, hogy a Codex a mért termelékenységjavulás nagyobb részéért felel.

Biztonsági keretek gyorsabb fejlesztés mellett

A 1Password az OpenAI eszközeit a mérnöki szervezeten túl pénzügyi, marketinges és más csapatok felé is kiterjeszti. Az OpenAI szerint a vállalatnál a biztonsági modell az elfogadás tervezési követelménye, nem X, hanem olyan alapfeltétel, amelynek már a használat bővítésekor érvényesülnie kell.

Wang az esettanulmányban azt mondta: „Nagyon szigorú biztonsági hozzáállásunk van abban, hogyan építünk termékeket.” A forrás szerint minden olyan terméknek, amely hitelesítő adatokat vagy titkokat érint, olyan zero-knowledge architektúrát kell követnie, amelyet úgy terveztek, hogy csak az ügyfél tudja visszafejteni és elérni az érzékeny adatait.

A 1Password ezt úgy valósítja meg, hogy a tárolókban hitelesítő adatok helyett titokhivatkozásokat tart. Amikor a Codex egy jóváhagyott belső eszközt hív meg, a 1Password a művelet pontján oldja fel és illeszti be a hitelesítő adatot, így a nyílt szövegű érték nem kerül a modell kontextusába.

A biztonság erősítésére a mérnökök a vállalati biztonsági irányelveket újrafelhasználható AppSec készségekbe építették be. Wang szerint ez lehetővé teszi, hogy a vállalat standardjai együtt mozogjanak a fejlesztési munkafolyamattal.

Mit jelenthet ez a felhasználóknak és a piacnak

A 1Password vezetése a mérnöki eredmények alapján más funkciók számára is bővíti a Codexhez való hozzáférést, hogy például a pénzügyi és marketingcsapatok saját eszközöket és funkciókat építhessenek. A forrás alapján a vállalat ezt a szoftverkészítés szélesebb körű hozzáférhetővé válásaként értelmezi.

Wang szerint a következő szakaszban a termék-, dizájn-, kutatási és fejlesztési szerepkörökben dolgozók is egyre inkább építőkké válnak. Az OpenAI esettanulmányában úgy fogalmazott: „Azt hiszem, az utolsó mérföld valójában az, hogy egy vállalatnál mindenki építsen.”

A felhasználók szempontjából a forrásból levezethető fő változás a gyorsabb visszacsatolási ciklus lehet: a 1Password a Codexet arra használja, hogy az ügyfélvisszajelzésekből gyorsabban szülessenek felületi változtatások és működő funkciók. A vállalat állítása szerint mindezt a meglévő biztonsági követelmények fenntartása mellett vezeti be.