A Scale AI szerint a modellek felismerik a kémiai kockázatot, mégis válaszolnak
A Scale AI bemutatta a DualChem nevű, 600 szakértői kérdésből álló tesztet, amely azt vizsgálja, hogyan kezelik a nagy nyelvi modellek a jó és káros célra egyaránt használható kémiai kérdéseket. A vállalat 31 fejlett modellt értékelt, és több esetben azt találta, hogy a rendszerek a kockázat felismerése után is érdemi választ adtak.
- A DualChem 600, szakértők által ellenőrzött kémiai kérdésből áll.
- A Scale AI 31 fejlett nyelvi modellt értékelt a benchmarkon.
- A modellek átlagos pontossága körülbelül 50, a legjobbaké körülbelül 67 százalék volt.
- A rendszerek gyakran felismerték a kockázatot, mégis érdemi választ adtak.
- A projekt a Scale AI és a CAISSI együttműködésének első benchmarkja.
A valós, kétértelmű kémiai kérdéseket vizsgálják
A DualChem olyan helyzeteket próbál mérni, amelyeket az általános mesterségesintelligencia-benchmarkok kevésbé ragadnak meg. Ezek jellemzően a következtetési pontosságot, a programozási teljesítményt vagy a tényszerű felidézést vizsgálják, miközben egy nagy kockázatú, bizonytalan helyzetben az is fontos, hogy a modell felismeri-e a káros szándékot.
A Scale AI szerint a kémia különösen alkalmas ennek tesztelésére. Ugyanaz az útmutatás segíthet egy végzős hallgatónak egy kísérlet hibakeresésében, miközben a káros felhasználás akadályait is csökkentheti. A DualChem ezért nem kizárólag egyértelműen káros vagy mesterségesen támadó kérdéseket használ, hanem olyan reális kérdéseket, amelyek célja a kontextustól függően lehet legitim vagy veszélyes.
A benchmark 600, szakértők által összeállított kérdésből áll. A kérdéseket felvételük előtt PhD-szintű szakértői értékelők vizsgálták át, és több laboratóriumi kémiai területet fednek le, köztük a molekulatervezést, a szintézis eljárásait, a tisztítást, az ellenőrzést és az információkezelést.
A modellek átlagosan a kérdések felét oldották meg
A Scale AI 31, a vállalat megfogalmazásával élve élvonalbeli modellt tesztelt. A modellek átlagos pontossága megközelítette az 50 százalékot, a legjobban teljesítő rendszerek pedig körülbelül 67 százalékot értek el.
A vizsgálat szerint a modellek kémiai segítsége a kémiai alapképzettséggel rendelkező résztvevők teljesítményét is javította. A bachelor fokozattal rendelkező résztvevők eredménye a kétcélú kémiai feladatokon körülbelül 32 százalékról körülbelül 48 százalékra emelkedett a modell segítségével. A Scale AI ezt olyan képességkülönbségként írja le, amelynek lehetséges valós következményei vannak.
A kockázat felismerése és a válasz megtagadása ugyanakkor csak gyengén függött össze. A modellek gyakran azonosították potenciálisan kétcélúként a kérdéseket, mégis a legtöbb esetben érdemi választ adtak rájuk.
A kockázat megítélésében is eltértek az emberi szakértőktől
A kutatás a modellek kockázati ítéleteit is vizsgálta. A rendszereknek szakértők által felcímkézett, jóindulatúként vagy károsként besorolt példák alapján kellett súlyossági pontszámokat adniuk. Előrejelzéseik csak gyengén egyeztek az emberi értékelésekkel, és az egyes esetek között jelentős eltérések mutatkoztak.
A Scale AI értelmezése szerint ez arra utal, hogy a jelenlegi modellek képesek lehetnek a felszíni érzékenység felismerésére, de nem mindig értik, mitől válik egy kérdés valóban kétcélúvá. A vállalat szerint ezért önmagában a válaszmegtagadásra épülő biztonsági mechanizmusok nem feltétlenül elegendők az összetett helyzetek kezelésére.
Kormányzati és vállalati értékelésekhez is használhatják
A Scale AI közleménye szerint a DualChem az első olyan benchmarkok egyike, amely a nagy nyelvi modellek segítségnyújtását vizsgálja kétcélú kémiai helyzetekben. A kutatás független értékeléseket kínálhat a döntéshozóknak és a beszerzési csapatoknak arról, hogyan viselkednek a modellek bizonytalan, többféleképpen értelmezhető helyzetekben, és hol lehetnek hiányosságok a védelmi intézkedésekben.
A projekt a Scale AI és a NIST Center for Advancing Innovation and Standards for Super Intelligence, vagyis a CAISSI között 2025 februárjában aláírt Collaborative Research and Development Agreement alapján létrejött első benchmark. A keretrendszer hatókörének és kérdésosztályozásának kialakításában a CAISSI, valamint amerikai kormányzati szakértők is részt vettek.
A Scale Labs közlése szerint a vállalat a jövőben is együttműködik kormányokkal és nemzeti AI-biztonsági intézetekkel a fejlett modellek értékelésén. A cél olyan tesztelési és felügyeleti módszerek fejlesztése, amelyek segítenek megérteni a modellek viselkedését különböző környezetekben, beleértve az eltérő adateloszlások melletti robusztusság és a támadó jellegű stressztesztek vizsgálatát is.
Scale AI: DualChem: Evaluating AI Safety in Dual-Use Chemistry
