Az Aleph Alpha szerint a kisebb Kolibri modell RAG-ban is erős

Szuverén felhasználásra tervezték

Az Aleph Alpha október 8-án közzétett bejegyzése szerint a Kolibri olyan nyílt súlyú nagy nyelvi modell, amelyet kritikus fontosságú, szuverén alkalmazásokhoz építettek. A vállalat a fejlesztés során több, saját piacához igazított szempontot vett figyelembe: a vonatkozó szabályozásnak való megfelelést, az angol és a német nyelv támogatását, a mesterségesintelligencia-teljesítményt, valamint a következtetés hatékonyságát.

Az Aleph Alpha szuverén felhasználási esetnek tekinti azokat a megoldásokat, amelyeknél a modell üzemeltetése, értékei és összehangolása, a tanítási adatok eloszlása, illetve a megfelelés feletti kontroll fontos követelmény. Ilyen alkalmazások a vállalat ügyfélkörében elsősorban a közszférában és szabályozott iparágakban, köztük az autóiparban és a technológiai szektorban jelennek meg.

A RAG-alkalmazásokra külön optimalizálták

A Kolibri fejlesztésénél az Aleph Alpha ügyfélalkalmazásainak portfólióját elemezte. A vállalat által felsorolt elvárások között szerepel az angol és német nyelvű megértés és válaszadás, a széles körű képességkészlet, valamint az ismeretlen adatokon végzett, környezetfüggő RAG-teljesítmény. A modellnek emellett erősen technikai és specifikus dokumentumtípusokat, például jogi és műszaki anyagokat is elemeznie kell.

A visszakereséssel támogatott generálás, vagyis a RAG olyan alkalmazás, amely külső eszközökön keresztül kapcsolja a nyelvi modellt szervezeten belüli korpuszokhoz. Ezek az eszközök jelentésalapú keresést és konkrét dokumentumoldalak megnyitását is lehetővé tehetik. A modell így olyan adatokhoz férhet hozzá, amelyek jellemzően nem szerepelnek a tanítási adatok között.

A működést meghatározó úgynevezett ügynöki keretbe több döntés tartozik. Ilyen a használt keresés típusa, a kereshető dokumentumok és adatbázisok köre, az adatok előfeldolgozása, a visszaadott találatok száma és formája, a kiegészítő eszközök, valamint a többnyelvű működés. Az Aleph Alpha példája szerint műszaki dokumentációban a kulcsszavas keresés fontos lehet, mivel a termék- és komponensazonosítók nem feltétlenül működnek jól jelentésalapú kereséssel.

Hét teszten mérték a modellt

Az Aleph Alpha közlése szerint a Kolibrit hét ügynöki RAG-benchmarkon vizsgálták, ezek közül öt valós ügyféltelepítéseket modellezett. A vállalat szerint a modell a velük összehasonlított vezető nyílt súlyú modellek közül a legjobb átlagos pontszámot érte el. Saját méretkategóriájának modelljeit, valamint olyan rendszereket is megelőzött, amelyek tokenenként többszörös számítási kapacitást használnak.

A bejegyzés egyik központi állítása, hogy ezt az eredményt ügyféladatok felhasználása nélkül érték el. Az Aleph Alpha szerint a Kolibri tanítása során egyetlen ügyféladatpontot sem vittek be a tanítási folyamatokba az ügyfél hozzájárulása nélkül, és ennél a modellnél egyáltalán nem tanítottak ügyféladatokon. Ennek jelentősége a vállalat által célzott közszektorbeli és szabályozott iparági alkalmazásoknál az adat- és szellemi tulajdon feletti ügyfélkontroll miatt fontos.

A vállalat által bemutatott példa egy műszaki kérdés megválaszolását szemlélteti. A rendszer először jelentésalapú keresést indít egy TC3x-235c azonosítóra vonatkozó kérdéshez, majd felismeri, hogy a találatok hasonló, de eltérő alkatrészekre vonatkoznak. Ezután pontos kulcsszavas keresést használ, amely a példában a TC3x-235c adatlapjánál 300 MHz-es maximális fSYS-értéket, egy hibajegyzékben pedig a 280 MHz feletti fSYS-hez kapcsolódó ismert problémát talál.

Mit jelent ez a felhasználóknak?

Az Aleph Alpha megközelítése olyan szervezeteknek szól, amelyek saját dokumentumaikhoz és adatbázisaikhoz szeretnének nyelvi modellt kapcsolni, miközben az adatokat nem adják át a modell tanításához. A Kolibri specializációja a keresési eszközök, a dokumentumok, a találatok megjelenítése és a többnyelvű használat összehangolására épül.

A bejegyzés alapján a kisebb modell és az egyszerűbb, célzottabb eszközhasználat bizonyos környezetekben előnyt jelenthet. Ez különösen olyan alkalmazásoknál lehet lényeges, ahol korlátozott a futás közben rendelkezésre álló GPU-kapacitás, például peremhálózati vagy szigorúan szabályozott rendszerekben. A közölt teljesítményadatok az Aleph Alpha saját összehasonlítására és benchmarkjaira vonatkoznak.