66 százalékkal kevesebb lépéssel javították a chiptervező AI-t

A végső Liberty-fájlokat ellenőrizték

Az NVIDIA Developer október 14-i beszámolója szerint a Siemens Fuse EDA AI Agent megbízhatóságát az NVIDIA NeMo Gym nyílt értékelési környezetében vizsgálták. A rendszer a Solido Characterization Suite eszközeit hangolja össze a standard cellák karakterizálásához, amelynek során a logikai cellák időzítési, fogyasztási és zajmodelljei készülnek el különböző működési feltételek mellett.

A folyamat végén Liberty (.lib) fájlok készülnek. Ezeket a NeMo Gym egy területspecifikus ellenőrzővel vizsgálta, amely a lefedettséget, az érvényességet, a referenciaeredményhez viszonyított eltéréseket, a pontosságot és az eredmény integritását értékelte. A jutalomérték nulla lett, ha a felsorolt ellenőrzési kapuk közül akár egy is hibázott.

Az értékelés több olyan problémát is feltárt, amelyeket a köztes ellenőrzések nem feltétlenül jeleztek. Ilyen volt a hiányzó cella vagy működési feltétel, a hibás meredekségi küszöb, illetve a megengedett tűréshatáron kívül eső időzítési vagy fogyasztási érték.

A hibakeresés után kevesebb eszközhívásra volt szükség

A csapat először rögzített feladat- és ellenőrzőverzióval futtatta le az agentet, majd elemezte a teljes végrehajtási folyamatot. A NeMo Gym rögzítette a gondolkodási nyomokat, a bemeneti és kimeneti üzeneteket, valamint az eszközműveleteket is.

Az eredmények alapján azonosították a félreérthető utasításokat, a nem hatékony műveleteket és a hibás eszközválasztásokat. Ezután módosították az agent készségeit, valamint a Model Context Protocol, röviden MCP, eszközleírásait. A feladatokat azonos értékelési feltételek mellett ismételték meg, így a végső eredményeket és a sikeres végrehajtásonkénti hatékonyságot is össze tudták vetni.

Az NVIDIA közlése szerint a reprezentatív standardcellás karakterizálási benchmark összetett pontszáma hozzávetőleg 55 százalékról körülbelül 95 százalékra emelkedett. Az agent fordulóinak száma 155-ről 53-ra, a kimeneti tokenek mennyisége pedig hozzávetőleg 81 ezerről 29 ezerre csökkent.

Miért fontos a végső eredmény vizsgálata?

A standardcellás karakterizálás több egymásra épülő szakaszból áll. Az agentnek be kell állítania az eszközöket, nagyszabású SPICE-szimulációkat kell futtatnia, elosztott számításokat kell kezelnie, Liberty-fájlokat kell létrehoznia, hibákat kell felderítenie, végül pedig validálnia kell az eredményt.

A forrás szerint egy korai beállítási hiba a későbbi lépések mindegyikére hatással lehet, miközben a folyamat hihetőnek tűnő, de hibás fájlokat állít elő. Ezért a Siemens EDA és az NVIDIA megközelítése nem egyes eszközhívásokat értékelt külön, hanem a teljes munkafolyamat végén létrejövő műterméket, vagyis a Liberty-fájlt vizsgálta.

A NeMo Gym ezen a példán keresztül olyan értékelési módszert kínál, amely az agent teljes végrehajtási útvonalát követi, feltárja a hibák továbbterjedését, majd ezek alapján segít módosítani a készségeket és az eszközleírásokat. Az NVIDIA szerint ugyanez a módszer más mérnöki agenteknél is alkalmazható az EDA, a CAE és más területeken, ha a végső eredmények ellenőrzésére megfelelő validátort készítenek.