A CoreWeave ARIA önállóan tervezi és indítja a következő MI-kísérletet

A teljes kutatási ciklust kezeli

A CoreWeave október 2-i bejelentése szerint az ARIA a Weights & Biases platformba épített kódoló ügynök, amely ismeri a rendszer működését és a projekt teljes kísérleti környezetét. Beolvassa a futásokat, elemzi az eredményeket, élő vizualizációkat készít, majd ezek alapján új kísérletet javasolhat és indíthat.

A felhasználónak elég megfogalmaznia, mit szeretne megtudni. Például azt kérdezheti, hogy a figyelmi rétegek után alkalmazott dropout javítana-e a tapasztalt túlillesztésen. Az ARIA ehhez hipotézist állít fel, létrehozza a konfigurációt, majd a W&B Launchon keresztül elindítja a futást a csapat számítási erőforrásain.

A futás befejezése után az ügynök az alapkonfigurációhoz viszonyítja az eredményeket, összehasonlító panelekkel frissíti a munkaterületet, és W&B Reportot készít a megállapításairól. Ha az eredmény nem döntő, további lépést javasolhat, például más dropout-értéket, hosszabb ütemezést vagy több értéket vizsgáló sweepet. A CoreWeave egyik példája szerint az ARIA 674 futást elemez, kiválasztja a legjobb konfigurációt, és kész konfigurációval javasol következő kísérletet.

Az elemzést megosztható vizualizációk támasztják alá

Az ARIA nem kizárólag szöveges választ vagy számsort ad. Megosztható W&B-munkaterületeket, paneleket és jelentéseket hoz létre, amelyekben vizuálisan is ellenőrizhetők a következtetései. A kérdéshez illeszkedő megjelenítést választ: kétdimenziós paramétervizsgálathoz hőtérképet, a hiperparaméterek kölcsönhatásainak feltárásához párhuzamos koordinátás grafikont, különálló konfigurációk összehasonlításához pedig oszlopdiagramot.

Az ügynök kiszűri a legfontosabb futásokat, szükség esetén csoportosítja az adatokat, és olyan munkaterület-nézetet készít, amely a beszélgetés lezárása után is használható. Mivel ezek élő W&B-irányítópultok, az új futások beérkezésekor frissülnek, a csapat minden tagja láthatja őket, és ugyanúgy konfigurálhatók, mint a kézzel létrehozott nézetek.

A platformról megnyitva az ARIA már ismeri a projektet, a látható futásokat és az aktív szűrőket. Hozzáférhet a W&B-be naplózott tanítási kódhoz, kísérleti naplókhoz, veszteséggörbékhez, metrikákhoz, artefaktumokhoz és ellenőrzőpontokhoz. A CoreWeave szerint projektek és csapattársak kísérletei között is tud keresni, valamint arXivon megjelent friss tanulmányok technikáival is összevetheti a megfigyeléseket.

Skálázott projektekre és mobil használatra készült

A CoreWeave szerint az ARIA-t a W&B csapata folyamatosan a platform sajátosságaira tanítja. Ennek része, hogy hatékonyan szűkítse a lekérdezéseket, nagy projekteken is eligazodjon, és a csapatok határain átívelő kísérleteket kezeljen. A vállalat példája alapján az ügynök egy „sandwich norm” nevű technikára vonatkozó kérdésnél 60 futás neveiben, konfigurációiban, kimeneti naplóiban, kód-artefaktumaiban és metaadataiban keres, majd jelzi, hol vizsgált és mit zárt ki.

Az ARIA a Weights & Biases mobilalkalmazásban is elérhető. A kutatók így útközben figyelhetik a futásokat, vizsgálhatják az eredményeket és kommunikálhatnak az ügynökkel. A bemutatott felhasználási esetek között szerepel az eredmények elemzése, a kiugró értékeket kiemelő nézet létrehozása, az out-of-memory hibák okának feltárása, a következő hiperparaméter-készlet kiválasztása, valamint egy másik projekt legjobb futásának megkeresése és összehasonlító importálása.

A CoreWeave közlése szerint az ARIA jelenleg nyilvános előzetesben érhető el. A használathoz a W&B-ben meg kell nyitni egy projektet, az oldalsávban az ügynök ikonjára kell kattintani, majd egy valódi kísérleti kérdéssel lehet kezdeni.