Az NVIDIA Nemotron 3 Ultra vezeti az open modelleket RTL-kódolásban

Iteratív munkafolyamat hardvertervezési feladatokra

Az eredményeket az NVIDIA Developer július 26-án közzétett írása ismertette. A bemutatott megoldás az ACE-RTL ügynököt és a Nemotron 3 Ultra modellt kapcsolja össze. Az ACE-RTL egy iteratív, generálásból, tesztelésből és reflexión alapuló folyamatot valósít meg, amely a szimulációs visszajelzések alapján finomítja az RTL-terveket.

Az RTL, vagyis a regiszterátviteli szintű leírás fejlesztésénél a kód egyszeri előállítása gyakran nem elegendő. A feladatokhoz specifikációk értelmezése, meglévő modulok kezelése, módosítások készítése, szimulációs hibák elemzése és célzott javítások szükségesek. Az ACE-RTL ezt három együttműködő komponenssel kezeli: a generátor RTL-kódot hoz létre vagy frissít, a reflektor elemzi a szimuláció visszajelzéseit és lehetséges okokat keres, a koordinátor pedig az előzményeket és a hibainformációkat használva irányítja a következő próbálkozást.

97,1 százalékos átlagos megfelelési arány

Az NVIDIA a Comprehensive Verilog Design Problems, röviden CVDP, benchmarkon hasonlította össze a modelleket. A teszt kilenc, gyakorlati RTL-feladatokat lefedő kategóriát vizsgál: többek között kódkiegészítést, természetes nyelvű specifikációból történő kódgenerálást, kódmódosítást, modulújrafelhasználást, lintelést és minőségoptimalizálást, tesztpadi stimulus- és ellenőrző kód generálását, állítások készítését, valamint hibakeresést.

Az ACE-RTL ügynökkel a Nemotron 3 Ultra 97,1 százalékos átlagos pass rate-et ért el. A Kimi K2.6 eredménye 95,2 százalék, a GLM 5.2-é 92,1 százalék volt. A Nemotron több kategóriában 100 százalékos megfelelési arányt is elért.

A hibakeresési és javítási feladatoknál az ügynök használata mindhárom vizsgált modellnél jelentős különbséget hozott. A GLM 5.2 önállóan 44,0 százalékról 94,3 százalékra, a Kimi K2.6 68,6 százalékról 97,1 százalékra, a Nemotron 3 Ultra pedig 65,7 százalékról 100,0 százalékra javult.

Kevesebb tokennel, hosszú kontextusra tervezve

A Nemotron 3 Ultra átlagosan 6629 tokent használt iterációnként. A GLM 5.2 esetében ez 9156, a Kimi K2.6-nál pedig 22579 token volt. Az NVIDIA számítása szerint a Nemotron 28 százalékkal kevesebb tokent használ a GLM 5.2-nél, és 71 százalékkal kevesebbet a Kimi K2.6-nál.

A modell 550 milliárd teljes és 55 milliárd aktív paraméteres, Mixture-of-Experts felépítésű, hibrid Mamba-Attention modell. Előtanítása 20 billió szöveges tokenen történt, a kontextusablakát pedig 1 millió tokenre bővítették. Az NVIDIA szerint a felépítés akár ötször nagyobb áteresztőképességet és 30 százalékkal alacsonyabb költséget biztosít más nyílt modellekhez képest.

Az RTL-ügynökök kontextusa egy hibakeresési kör során gyorsan növekedhet, mivel a specifikáció, a modulok kódja, a generált RTL, a szimulátor kimenete, az állítások hibái és a korábbi javítási kísérletek is bekerülhetnek. A vállalat szerint a hosszú kontextus hatékony kezelése ezért közvetlenül befolyásolja, hogy az ilyen munkafolyamatok mennyire használhatók a gyakorlatban.

RTL-generálás, módosítás és hibakeresés tanítása

A Nemotron 3 Ultra RTL-képességeit az ACE-RTL tanulmányban javasolt szintetikusadat-generáló folyamat is támogatja. A folyamat nyilvános tárhelyekről kiválasztott, jó minőségű RTL-tervekből indul ki. Nyílt nagy nyelvi modellek ezeket utasításalapú tanítási mintákká alakítják, meghatározott formátumot, részletességet és hardverspecifikus feladattípust követve.

A rendszer a specifikációból RTL-t előállító példák mellett meglévő RTL-kód módosítására és hibás tervek javítására szolgáló feladatokat is létrehoz. Ez az NVIDIA szerint jobban illeszkedik az ügynöki munkafolyamathoz, ahol a modellnek a visszajelzések alapján ismételten javítania kell a terveket.

A modell, az ACE-RTL ügynök és a hozzájuk kapcsolódó erőforrások az NVIDIA által megjelölt fejlesztői oldalakon és a Hugging Face felületén érhetők el, az ACE-RTL ügynök kódja pedig az NVlabs/ACE-RTL GitHub-tárházban található.