A Cline szerint a Nemotron 3.5 Super VL 61,8 százalékot ért el

A Cline környezete javította a teszteredményt

A Cline október 15-i beszámolója szerint a vállalat az NVIDIA Nemotron 3.5 Super VL modellt benchmarkokon és a mindennapi munkában is tesztelte. A Terminal-Bench 2.1 értékelésén a Nemotron 3.5 Super VL 120B A12B modell Cline-nal 61,8 százalékot ért el.

Ugyanez a modell három másik nyílt forrású agent harnessben 53,9, 51,7 és 44,9 százalékos eredményt produkált. A Cline az összehasonlításban A, B és C betűkkel jelölte ezeket a környezeteket. A Cline által elért eredményhez kikapcsolt gondolkodási módot használtak, míg az A és a C harness magas szintű következtetési vagy erőfeszítésbeállítást alkalmazott.

A vállalat hangsúlyozza, hogy a teszt nem választja külön, pontosan mely Cline-funkciók okozták a különbséget, és azt sem mérte meg, mennyi számítási kapacitást takarít meg a megközelítés. A Cline szerint az eredmények azt mutatják, hogy ugyanannak a modellnek a teljesítménye jelentősen eltérhet a körülötte működő szoftvertől függően.

Tervezés, leállásérzékelés és célzott ellenőrzések

Az agent harness a modell köré épített szoftveres környezetet jelenti. Ide tartoznak a modellnek adott utasítások, a használható eszközök és a munkáját ellenőrző mechanizmusok. A Cline a nyílt súlyú modellekhez, köztük a Nemotron 3.5 Super VL-hez, ezeket az elemeket folyamatosan finomítja.

A Cline arra kéri a modellt, hogy a kód módosítása előtt tervezze meg a feladat megoldását. A folyamat így a feladat megértésével, a megközelítés kiválasztásával, majd a végrehajtással kezdődik. A vállalat szerint ez segíthet abban, hogy a modell kevesebb energiát fordítson a következő lépés eldöntésére, de a tokenfelhasználást és a tervezési utasítás hatását külön még nem mérte.

A rendszer leállásérzékelője megszakíthatja a próbálkozást, ha az agent ismétlődő, már nem hasznos műveletet végez. Ilyenkor strukturált eseményt rögzít, benne a hibatípussal, a hiba helyreállíthatóságával és az iteráció számával.

A Cline két feladaton konkrét példát is bemutatott. A chess-best-move feladatban a rendszer FEN-formátumra alakította a sakktáblát, majd teljes mattkeresést futtatott. Két egy lépéses mattot talált, e2e4, Qe4# és g2g4, g4#, összesen 58 naplósoron át. A headless-terminal feladatban öt paranccsal ellenőrizte, hogy a Ctrl-C jelzése eljut-e a folyamathoz, és hogy a parancsértelmező működőképes marad-e utána.

A Nemotron egy Slackben működő belső agentben is dolgozik

A Cline egy Nemotronra épülő belső agentet is használ, amely a Slackben működik, és a háttérben a Cline-t futtatja. Az agent homokozókat és konténereket indíthat, valamint összetettebb feladatoknál fejlettebb modelleket is meghívhat. A csapat belső feladatok osztályozására, felhasználói hibajelentések kivizsgálására és problémák megoldásának előkészítésére használja.

A Cline egy Windows-diagnosztikai exportálási hibát hozott példaként. A jelentés szerint a Cline egy már létező Downloads mappát próbált létrehozni, emiatt EEXIST hibába ütközött, és nem tudta elmenteni a diagnosztikai jelentést. A belső agent feladata az volt, hogy kivizsgálja a felhasználói beszámolót, felderítse a hiba okát, és hasznos következő lépést adjon a csapatnak.

A Cline szerint a benchmarkeredmények és a belső használat együtt mutatják meg, hogyan teljesít a Nemotron 3.5 Super VL valós munkafolyamatokban. A vállalat továbbra is a tesztek és a mindennapi hibakezelés alapján finomítja a Cline környezetét.