Négy nyílt forráskódú eszköz a megbízható AI-rendszerekhez

A demótól a vállalati rendszerig

Az Open Source AI: Building Reliable AI Systems című, október 19-én megtartott esemény hallgatókat és fejlesztőket hozott össze a San José State Universityn. A rendezvényt Susan Malaika, az IBM és az LF AI & Data Responsible AI kezdeményezésének munkatársa szervezte az egyetem karrierközpontjával és a Responsible Computing Clubbal együttműködésben. Jennifer Hernandez, az IBM Client, University & Community Engagement vezetője szintén részt vett a szervezésben, és az IBM lehetőségeiről beszélgetett a hallgatókkal.

Az LF AI & Data Foundation október 29-én közzétett beszámolója szerint az öt előadás közös témája az volt, hogyan lehet egy laptopon működő, látványos demóból olyan rendszer, amelyet egy vállalat ügyfeleknek is szállíthat. Az előadók a nyelvi modellhívások megbízhatóságát, a biztonságot, a fejlesztési folyamat védelmét és az adatok minőségét járták körül.

Mellea és ASAGO: tervezhetőbb modellek, tesztelhetőbb biztonság

Basel Shbita a Mellea nevű Python-könyvtárat mutatta be. A megközelítés a nyelvi modellt egy nagyobb alkalmazás építőelemeként kezeli. A feladatokat kisebb lépésekre bontja, amelyekhez külön utasítások, követelmények és mintavételi beállítások tartoznak. Minden modellhívást az utasítás, ellenőrzés és javítás mintája követ, a visszatérő adatnak pedig meg kell felelnie a fejlesztő által meghatározott típusnak.

A Mellea csapata ezt generatív számítástechnikának nevezi. A projekt szerint a strukturált lépések révén kisebb nyílt súlyú modellek is elvégezhetnek nagyobb modellekhez kötött feladatokat, miközben a modellek és következtetési motorok könnyebben cserélhetők. A Mellea nyílt forráskódú, telepítése a pip install mellea paranccsal kezdhető.

Muneeza Azmat, a Red Hat AI-biztonsági csapatának vezető gépi tanulási mérnöke az ASAGO-t ismertette. A nyílt forráskódú projekt egy szabályzatból, egy felhasználási esetből és egy AI-rendszerből kiindulva kockázati forgatókönyveket és teszteket készít. A szabályzatot tekinti az egyetlen közös viszonyítási alapnak, annak részeit AI-kockázati taxonómiákhoz rendeli, majd a forgatókönyveket olyan vörös csapat eszközökhöz, például a Garakhoz igazítja, amelyek értékelik a támadások sikerét. Így a megfelelési és kockázati csapatok azt is láthatják, hogy a szabályzat mekkora részét fedik le a tesztek.

Bob és Docling a fejlesztéstől az adatokig

James Busche szerint a fejlesztők egyre inkább karmesterként irányítják az AI-eszközöket, ahelyett hogy minden kódsort maguk írnának. Az IBM Bob fejlesztési környezete a fejlesztő által megadott jogosultságokkal dolgozik, elemzi az adott projektet, kiválasztja a szükséges eszközöket, majd együttműködik a fejlesztővel. A rendszer szabályokat alkalmazhat, teszteseteket követelhet meg, segíthet egy ismeretlen kódbázis megértésében, és dokumentációt is készíthet.

A Bob három működési módot kínál: az Ask magyaráz, a Plan feltérképez egy projektet, az Agent pedig épít. A megfelelő modell kiválasztását is támogatja, és a kisebb, olcsóbb modellektől lép tovább, amikor erre szükség van. Az előadás az MCP-t és az ismétlődő feladatokhoz használható készségeket is érintette.

Ming Zhao a Docling kapcsán arra hívta fel a figyelmet, hogy a megbízható AI alapja a megbízható adat. Az IBM Research által indított, jelenleg az LF AI & Data Foundation által gondozott nyílt forráskódú projekt PDF-, Excel-, HTML- és képformátumokat, valamint hangot alakít AI számára használható, például JSON-formátumú adatokká. Megőrzi az oldalelrendezést és a táblázatok szerkezetét, a keresésalapú generálásnál pedig metaadatokkal és határolókeretekkel segít megmutatni, honnan származik egy válasz.

Gyakorlati tapasztalatot sürgetnek a hallgatóknak

Az előadók szerint a megbízható AI fejlesztéséhez a feladatok felbontása, a biztonsági szabályok tesztelése és a bemeneti, illetve kimeneti adatok ellenőrzése egyaránt fontos. A hallgatóknak azt javasolták, hogy csatlakozzanak nyílt forráskódú projektekhez, kísérletezzenek helyben futó modellekkel, és építsenek valódi projekteket. Az esemény üzenete a felhasználók és a fejlesztők számára is az, hogy az AI-rendszerek megbízhatósága a modell mellett a fejlesztési folyamat, a biztonsági ellenőrzés és az adatfeldolgozás minőségén múlik.