Az Octave kétmilliárd dokumentumra épített biztonságos AI-alapot
Az Octave Reliance olyan AI-alapot épített Amazon Bedrockon, amelyben az egyes ügyfelek adatai elkülönítve maradnak. A rendszer több mint 2 milliárd dokumentum feldolgozását támogatja, és az Octave szerint 50 százalékkal csökkentette az új AI-használati esetek bevezetési idejét.
- Az Octave Amazon Bedrockra épülő AI-alapot fejlesztett a Reliance rendszerhez.
- A platform több mint 2 milliárd dokumentumot kezel.
- Az ügyfelek adatai külön vektortárban és elkülönített futtatási környezetben maradnak.
- A Cohere Embed v4 szöveges és képi adatokat, valamint több nyelvet kezel.
- Az Octave szerint 50 százalékkal rövidült az új AI-használati esetek bevezetési ideje.
Szabályozott adatokhoz készült az AI-alap
Az Octave Reliance minőségirányítási rendszere orvostechnikai eszközöket gyártó, gyógyszeripari és élelmiszeripari vállalatokat szolgál ki. Az AWS közleménye szerint az Octave 180 országban működik, a Global Fortune 500 vállalatainak több mint 60 százalékát szolgálja ki, felhőalapú rendszere pedig több mint 650 nagyvállalati ügyfelet és több mint 40 alkalmazást támogat.
A platformon több mint 14 ezer ügyfél adatai találhatók. Ezek között panaszok, auditmegállapítások, helyesbítő és megelőző intézkedések, valamint szabványos működési eljárások szerepelnek. Az ilyen dokumentumokban található korábbi tapasztalatok felhasználhatók lennének új vizsgálatok támogatására, az adatok azonban szigorúan ügyfelenként elkülönülnek.
Az Octave ezért egyetlen AI-funkció helyett először közös alapot épített. A kezdeti elképzelések között szerepelt a panaszok összefoglalása és osztályozása, az auditokra való felkészülés monitorozása, incidensleírások készítése és a minőségi kockázatok előrejelzése. Elsőként a Complaint Triage Assistant szolgáltatással tesztelték az architektúrát.
Négy biztonsági és teljesítménybeli követelmény
A tervezést négy, egymással versengő követelmény határozta meg. Az adatoknak hozzáférhetőnek kellett lenniük az AI számára, de egyetlen lekérdezés sem léphette át az ügyfelek közötti határt. Ezért a vektortárat, a visszakeresési logikát és a modellnek átadott kontextust is egyetlen bérlőre kellett korlátozni.
Az ügynökök futtatását szintén elkülönítették. A használt eszközökhöz, adattárakhoz és modellvégpontokhoz tartozó jogosultságokat a kérelmező felhasználóhoz kellett kötni, csak a végrehajtás idejére. A közös ügynökpool statikus hitelesítő adatokkal ezt nem biztosította.
További kockázatot jelentettek a külső forrásból származó panaszok, e-mail-mellékletek, beolvasott PDF-ek és képek. Az AWS az OWASP 2025-ös, nagy nyelvi modellek alkalmazásairól szóló listájából a promptbefecskendezést, az érzékeny adatok kiszivárgását, a hibás kimenetkezelést és a túlzott ügynöki jogosultságot emeli ki.
A Reliance több mint 2 milliárd dokumentumot tárol, egyes ügyfeleknél több millió Word-fájllal, PDF-fel, beolvasott űrlappal, táblázattal, képpel és e-maillel. Az Octave célja az volt, hogy a legnagyobb ügyfél adatainak betöltése egyetlen munkanapon belül megtörténjen, a minőség romlása nélkül.
Három réteg és ügyfelenkénti vektortár
Az AWS szerint az architektúra három rétegre épül. Az adat-előkészítés során a minőségirányítási dokumentumokat Cohere Embed v4 segítségével ágyazzák be az Amazon Bedrockon, majd ügyfelenként elkülönített vektortárba írják az Amazon OpenSearch Service-ben.
A biztonságos végrehajtásban az Amazon Bedrock AgentCore részeként működő AgentCore Gateway hitelesítést és szabályzatokat alkalmaz, ezután pedig elkülönített mikrovirtuális gépes munkamenet hív egy Anthropic Claude modellt az Amazon Bedrockon. A tartalomvédelmet az Amazon Bedrock Guardrails biztosítja, amelyet a bemenet szűrésére és a kimenet ellenőrzésére is használnak.
A Cohere Embed v4 kiválasztásánál az Octave saját dokumentumain tesztelt. A modell a szöveget és a képeket közös vektortérben kezeli, így például egy hibás termék fényképe és az azt leíró szövegrész ugyanabból a lekérdezésből visszakereshető. Többnyelvű támogatása miatt a dokumentumokhoz nem kellett külön fordítási előfeldolgozást kialakítani.
A modell 256 és 1536 közötti kimeneti dimenziókat támogat. A reprezentatív éles lekérdezéseken végzett tesztekben az 512 dimenziós beállítás megőrizte a kívánt pontosságot, miközben a tárolási igényt nagyjából 66 százalékkal csökkentette az 1536 dimenziós alapértelmezett értékhez képest. A 128 ezer tokenes kontextusablak lehetővé tette, hogy körülbelül 4 ezer tokenes darabokat csoportosítsanak egy kérésbe.
Az AWS által bemutatott megközelítés az Octave számára közös alapot adhat a további AI-funkciókhoz. A vállalat szerint az alap elkészülte után egy-egy új használati eset bevezetési ideje 50 százalékkal csökkent, miközben a szabályozott adatok ügyfelek közötti elkülönítése a rendszer futtatási rétegében is érvényesül.
