A Redwood Research szerint fel kell gyorsítani az AI fogalmi gondolkodását
A Redwood Research szerint az AI-biztonság több kulcsfontosságú kérdése olyan fogalmi érvelést igényel, amelyet a jelenlegi modellek fejlesztése kevéssé támogat. A kutatószervezet ezért célzottan gyorsítaná ezt a képességet, miközben úgy látja, hogy a megközelítés kevésbé növelné az általános képességeket.
- A Redwood Research szerint az AI-biztonság több kulcsfeladata fogalmi érvelést igényel.
- Az AI-fejlesztés jelenlegi, könnyen ellenőrizhető feladatai gyengén készíthetnek fel ezekre a problémákra.
- A szervezet három-tizenkét hónapnyi javulást látott saját fogalmiérvelési-mércéjén.
- A Redwood Research szerint a célzott fejlesztés kevésbé növelné az általános képességeket.
- A kutatószervezet a jövőben részletesebben bemutatja módszereit és prioritásait.
A nehezen ellenőrizhető kérdésekhez másfajta érvelés kell
A Redwood Research október 27-i bejegyzésében a fogalmi érvelést olyan feladatok összefoglaló neveként használja, amelyek hasonlítanak a filozófiához. Ezeknél nincs könnyen hozzáférhető, egyértelműen ellenőrizhető igazság, ezért a haladás elsősorban informális, előzetes tudásra támaszkodó érvelésből és gondolatmenetekből származik.
A szervezet szerint az AI-biztonság és más fontos területek több ilyen problémát tartalmaznak. Ilyen lehet annak eldöntése, hogy az AI-biztonsági kutatáson belül mely irányokat kell előnyben részesíteni, mely kísérletek adhatnak hosszú távon hasznos információt, illetve alapvetően hibás-e egy adott összehangolási módszer.
Ugyanebbe a körbe sorolják annak vizsgálatát, hogy milyen tulajdonságokat érdemes adni egy AI-rendszernek, hogyan lehet ellenőrizni vagy megállapodást kötni egy fejlett AI-val, továbbá mekkora eséllyel eredményez egy képzési beállítás megtévesztő viselkedést. A Redwood Research hangsúlyozza, hogy ezek a feladatok nem kizárólag fogalmi jellegűek, de jelentős részük ilyen képességeket igényelhet.
Az AI-fejlesztés kevésbé támaszkodik erre a képességre
A Redwood Research érvelése szerint az AI-kutatás és -fejlesztés feladatai közelebb állnak az ellenőrizhető problémákhoz, vagy rendelkeznek ellenőrizhető helyettesítő mércékkel. Emiatt a fogalmi érvelés javítása várhatóan jóval nagyobb segítséget jelentene a biztonsági munkában, mint az általános képességek fejlesztésében.
A szervezet úgy látja, hogy a modellek alapértelmezett képzése rosszul általánosíthat a fogalmi feladatokra. Az AI-vállalatok ugyanis mélyen haladhatnak előre főként könnyen ellenőrizhető problémák megoldásával, például hatékonyabb tanulási algoritmusok keresésével. Ezek a feladatok viszont gyenge mércéi lehetnek azoknak a problémáknak, amelyeknél kevés vagy egyáltalán nincs visszacsatolás.
A Redwood Research szerint a fogalmi érvelést az AI-vállalatok azért is elhanyagolhatják, mert az kevésbé hasznos az AI-kutatásban, és kevés kereskedelmi alkalmazása van. Még akkor is előfordulhat, hogy a modellek nem használják ki teljesen a már meglévő képességeiket az ilyen feladatokban.
A kutatószervezet saját tapasztalatai alapján lát lehetőséget
A Redwood Research közlése szerint kezdeti munkájuk alapján a terület a gyakorlatban is kezelhetőnek tűnik. Alapvető előhívási módszerekkel, például néhány példát tartalmazó utasításokkal, valamint kis léptékű tanítással három-tizenkét hónappal jobb teljesítményt értek el a fő fogalmiérvelési-mércéjükön. A bejegyzés ezt úgy írja le, hogy a javulás nagyjából több hónapnyi élvonalbeli AI-fejlődés eredményének felel meg.
A szervezet szerint a fogalmi érvelés célzott fejlesztése várhatóan csak kis mértékben gyűrűzik át az általános képességekre. Indoklásuk szerint az időzítést gyorsító képességjavulások kevésbé lehetnek többleteredmények, mivel az AI-vállalatok képzései várhatóan maguktól is létrehozzák őket. Emellett a fogalmi érvelésen belüli általánosítás tökéletlen lehet, így kevésbé kockázatos területekre lehet összpontosítani.
A korábbi fogalmi képesség a jövő alakulását is befolyásolhatja
A Redwood Research szerint különösen fontos lehet, hogy az AI mikor válik jóvá fogalmi érvelésben. Az egyik lehetséges hatásmechanizmus az, hogy az emberiség az AI segítségét használhatja a szuperintelligenciával kapcsolatos problémák kezelésére. Így számíthat, hogy az AI mikor tud érdemben hozzájárulni a fontos munkához a gyors fejlődés és a megtévesztő viselkedés megjelenése előtt.
A szervezet arra is számít, hogy az AI hamarosan nagy szerepet játszhat a jövőbeli emberek és AI-rendszerek meggyőződéseinek kialakításában. Egyes kérdések, például a döntéselmélet és az etika, a Redwood Research szerint függhetnek a korábbi gondolati pályától. Ezért hosszú távon számíthat, hogy az AI ésszerű inputot ad-e, és filozófiailag átgondoltabb irányba tereli-e a társadalmat.
A Redwood Research közölte, hogy a közvetlen fogalmi kutatásról főként a fogalmi érvelés célzott gyorsítására álltak át. A szervezet szerint van olyan előkészített kutatási programjuk, amely további közreműködőket is be tud vonni. Egy következő bejegyzésben azt ígérik, hogy magas szinten bemutatják, hogyan lehet ezt a képességet fejleszteni, és mely területekre érdemes összpontosítani.
Redwood Research: A basic case for accelerating conceptual reasoning capabilities
