Kontinensnyi területeken futtat műholdas AI-elemzéseket az Ai2 platformja

A környezeti szervezetekre szabott infrastruktúra

Az Ai2 július 28-án mutatta be az OlmoEarth Platformot, amelyet geoinformatikai modellek finomhangolására, értékelésére és nagy léptékű következtetésre, vagyis a betanított modellek futtatására épített. A platform az OlmoEarth modelleket támogatja. Ezek az Ai2 Föld-megfigyelési alapmodelljei, amelyeket nagyjából 10 terabájtnyi, többféle műholdas adatot tartalmazó adaton tanítottak elő.

Az Ai2 szerint a kormányok, civil szervezetek és más, társadalmi célokat követő szervezetek már olyan feladatokra alkalmazzák az OlmoEarth modelleket, mint az erdőirtás követése, az élelmezésbiztonság és az erdőtüzek kockázatának vizsgálata. A vállalat szerint sok ilyen szervezet nem rendelkezik azzal az infrastruktúrával és mérnöki kapacitással, amely a címkézett adatok kezeléséhez, a modellek finomhangolásához és a nagyméretű futtatásokhoz szükséges.

Az Ai2 több mint egy évtizede működtet olyan platformokat, mint a Skylight és az EarthRanger. A vállalat közlése szerint ez a tapasztalat segített abban, hogy az OlmoEarth Platform a modellek futtatása mellett a teljes munkafolyamatot kezelje, az eredmények ellenőrzésétől az adatok felhasználható formába rendezéséig.

CPU-k és GPU-k külön feladatokra

A műholdas képek elemzése jóval nagyobb adatmennyiséget mozgat, mint egy átlagos gépi tanulási feladat. Egyetlen munka terabájtnyi adatot is kezelhet, miközben több spektrális sáv, érzékelőtípus és időpont adatai érkezhetnek különböző szolgáltatóktól. A képeket össze kell hangolni vetületek és felbontások szerint, a felhők által kitakart vagy hiányzó megfigyeléseket pedig kezelni kell.

Az OlmoEarth Platform ezért három szakaszra bontja a feladatokat. A CPU-k végzik az adatok letöltését, újravetítését, igazítását és normalizálását. A GPU-k futtatják magát a modellt. A feldolgozás utolsó szakaszában ismét CPU-k dolgoznak, amelyek összeillesztik a részleges eredményeket, maszkokat és újraméretezést alkalmaznak, majd Zarr, GeoTIFF vagy GeoJSON formátumban exportálják az adatokat.

A platform a földrajzi területet partíciókra, azokat pedig kisebb ablakokra bontja. Így az egyes térképrészletek egymástól függetlenül dolgozhatók fel. A szomszédos partíciók kissé átfednek, az összeillesztéskor pedig az Ai2 úgy rendezi az eredményeket, hogy ne jelenjenek meg illesztési vonalak.

155-szörös gyorsulás egy észak-amerikai futtatásban

Az Ai2 egy teljes Észak-Amerikát lefedő tűzkockázati térkép elkészítésén mutatta be a megközelítést. A futtatás csúcsán nagyjából 19 600 CPU és 994 GPU dolgozott párhuzamosan, a hálózati átviteli sebesség pedig meghaladta a 168 GB/s értéket. A párhuzamosítás a vállalat szerint a becsült 4737 órányi soros számítási időt körülbelül 30,5 órányi falióra szerinti futási időre csökkentette, ami 155-szörös gyorsulás.

A platform saját műholdasmetaadat-indexet is fenntart. Ez a különböző szolgáltatók katalógusaiból származó adatokat követi, majd a futtatáskor csak a szükséges képrészleteket tölti le, például felhőre optimalizált COG- vagy Zarr-formátumú állományokból. Az Ai2 szerint így elkerülhető, hogy egy nagy feladat egyszerre túl sok lekérdezéssel terhelje a külső szolgáltatásokat.

A rendszer jelenleg nagyjából egy nap alatt képes kontinensnyi területeken következtetést futtatni, több tíz terabájtnyi képet feldolgozva. Az Ai2 közlése szerint a költség négyzetkilométerenként a cent töredéke lehet. A futtatások beállításai a feladattól és a rendelkezésre álló kerettől függnek: a felbontás, a modell mérete és a korábbi képadatok gyorsítótárazása egyaránt módosíthatja az erőforrásigényt.