Az LLM-ek ítélete a kutatási ötletek újdonságáról meglepően ingatag
Az Ai2 új benchmarkja szerint a nagy nyelvi modellek ítélete jelentősen változhat attól függően, hogyan kérdezik őket egy kutatási ötlet újdonságáról. Egy kísérletben néhány promptszó módosítása több mint 50 százalékponttal változtatta meg a pontosságot.
- Az Ai2 benchmarkot, adatokat és kódot tett közzé az LLM-es újdonságvizsgálók tesztelésére.
- A GPT-5.4 pontossága 93,5 százalékról 40,9 százalékra esett egy promptváltás után.
- A vizsgálatban hat LLM-et, köztük GPT-5.1, GPT-5.2 és Claude Opus modelleket teszteltek.
- A több keresés és gondolkodási keret nem garantált jobb ítéletet.
- Az Ai2 szerint az újdonság értékelése az AI-alapú tudományos felfedezés egyik megoldatlan problémája.
Az újdonság megítélése kulcskérdés az AI-kutatásban
Az Ai2 október 27-én tette közzé az Old Ideas, Novel Problems című tanulmányát, valamint egy benchmarkot, adatokat és kódot az úgynevezett újdonságvizsgálók teszteléséhez. A szervezet egy automatizált folyamatot is kiadott, amellyel új értékelési készletek építhetők.
Az Ai2 több olyan rendszert fejleszt, amely a tudományos felfedezés különböző lépéseit támogatja. A DataVoyager strukturált adatok feltárására és elemzésére szolgál, az AutoDiscovery hipotéziseket generál és tesztel, a Theorizer pedig nagy szakirodalmi anyagokból szintetizál bizonyítékokat elméleti jelöltek létrehozásához. Ilyen környezetben az ötletgenerálás mellett azt is meg kell állapítani, hogy az adott javaslat valóban új irányt jelent-e.
Ezt a feladatot gyakran egy másik LLM-re bízzák. Az Ai2 ezeket a rendszereket novelty judge, vagyis újdonságvizsgáló néven említi. Az értékelés eredményét befolyásolhatja a választott modell, a prompt, a feladat formátuma, a gondolkodásra szánt keret és az irodalomkeresés módja.
ICLR-kritikákból építették fel a benchmarkot
A kutatók az ICLR 2026 szakértői értékeléseire építve kerestek olyan példákat, amelyeknél a bírálók kifejezetten tárgyalták a hozzájárulás eredetiségét. Nem a tanulmányok elfogadását tekintették az újdonság közvetlen jelének, mivel egy dolgozat más erősségei miatt is elfogadható, miközben kevésbé új, és egy elutasított dolgozat is tartalmazhat eredeti hozzájárulást.
A magas újdonságú csoportba 154, ember által írt kutatási ötlet került. Ezek olyan, az adott ICLR-kutatási terület legjobb 10 százalékába sorolt elfogadott dolgozatokból származtak, amelyeknél a bírálók pozitívan azonosították az újdonságot, és ezt egyetlen bíráló sem vitatta. Az alacsonyabb újdonságú csoport 145, elutasított dolgozat ötletéből állt, amelyek az alsó 10 százalékba kerültek, és amelyeknél a bírálók eredetiségi problémákat jeleztek.
Egy külön ellenőrzés során az annotátor az 50 kivonatolt újdonságjelzésből 47-tel értett egyet. A három eltérés egyike sem változtatta volna meg azt, hogy a bírálót az újdonságot támogató vagy vitató kategóriába sorolják.
A második, Human+Generated nevű beállításban a 154 validált emberi ötlet mellé egy egyszerű LLM-generátor által létrehozott 154 ötletet párosítottak. A generátor csak a kutatási területet és egy új ötlet megalkotására szóló utasítást kapott, irodalomkeresés, eszközök, ismétlés és visszajelzés nélkül. Az Ai2 hangsúlyozza, hogy ezek gyenge címkék, vagyis nem minden egyes generált ötlethez ellenőrzött újdonsági ítélet tartozik.
Néhány promptszó teljesen átírhatta az eredményt
A vizsgálatban hat modellt teszteltek: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 és Claude Opus 4.6. A kutatók többek között a promptot, a gondolkodási keretet, a kapcsolódó tanulmányokhoz való hozzáférést, az ötletek formázását és a generált ítéletek összevonását változtatták.
A legnagyobb eltéréseket a prompt módosítása okozta. A GPT-5.4 ugyanazokat a Human+Generated párokat kétféle utasítással kapta meg. Az egyik közölte, hogy páronként pontosan egy ötletet találtak újnak a bírálók, a másik egyszerűen azt kérte, hogy válassza ki az újdonságot hordozó ötletet. Az egyszerűbb prompt használatakor a pontosság 93,5 százalékról 40,9 százalékra esett, ami a véletlennél is gyengébb eredmény. A modell az esetek több mint felében megváltoztatta az ítéletét.
Az emberi ötleteket párosító Human-Only adathalmazon ugyanennek a változtatásnak kisebb volt a hatása, de Claude Opus 4.6 pontossága így is 21 százalékponttal változott. Nem találtak minden modellnél egyformán jól működő promptot sem. Egy, a triviális vagy fokozatos fejlesztések újdonságként való értékelésére figyelmeztető utasítás elhagyása egyes modelleknél javított, másoknál rontott az eredményen.
Az AI-generátorok összehasonlításánál a promptváltások átlagosan az ítéletek körülbelül egynegyedétől egyharmadáig terjedő részét módosították a hat vizsgált bíró esetében.
A több keresés és gondolkodás sem garantált jobb ítéletet
Az Ai2 azt is megvizsgálta, hogy a több számítás és az irodalomkeresés javítja-e az értékelést. A GPT-5.6 Sol extra magas gondolkodási keretet és arXiv-re korlátozott, élő, ismételt keresést kapott. Eredménye 0,78-as macro-F1 volt, ami 11 ponttal maradt el a Claude Opus 4.6 0,89-es értékétől. A rendszer döntésenként a jelenlegi API-árak mellett körülbelül tízszer többe került.
Az Ai2 szerint a kutatás eredményei azt mutatják, hogy az újdonságvizsgálók megbízhatósága továbbra is megoldatlan kérdés. A közzétett benchmark, adatok és kód lehetőséget adnak az ilyen rendszerek vizsgálatára, miközben arra is felhívják a figyelmet, hogy egy AI által generált kutatási ötlet értékelésénél maga a bíró beállítása is jelentősen befolyásolhatja a végeredményt.
