A Roboflow Playgroundban 134 számítógépes látásmodellt lehet összevetni

Egy képen, több modellen

A Roboflow augusztus 27-én mutatta be a Playground nevű értékelési környezetét. A szolgáltatás célja, hogy a fejlesztők saját képeiken próbálhassák ki és hasonlíthassák össze a számítógépes látás modelljeit anélkül, hogy külön-külön kellene API-kat beállítaniuk vagy infrastruktúrát biztosítaniuk.

A felhasználó feltölt egy képet, kiválasztja a feladat típusát, majd legfeljebb öt modellt futtathat egyszerre. A Roboflow közlése szerint a Playground 134 modellt tartalmaz a Google, az OpenAI, az Anthropic, a Meta és a Qwen kínálatából, valamint nyílt forráskódú modelleket is. A katalógus 25 látási feladatot fed le.

A támogatott fő feladattípusok az objektumfelismerés, a szegmentálás, a képaláírás készítése, a képosztályozás, az OCR és a nyílt promptos vizuális kérdés-válasz. Az elérhető modellek a kiválasztott feladattól függnek, így csak olyan modellek hasonlíthatók össze, amelyek támogatják az adott műveletet.

Eredmények, költségek és vakteszt

Objektumfelismerésnél a Playground a modellek által visszaadott határolókereteket közvetlenül a képre rajzolja. A részletes ellenőrzéshez nyers JSON is megnyitható, amely a pontos koordinátákat tartalmazza. A Roboflow szerint a futtatások során valós időben frissülnek a sebesség- és költségmutatók is.

A beállítás és az eredmények megosztható URL-lel továbbadhatók. A megosztott oldal elmenti a konfigurációt, az osztályokat és a kapott eredményeket. A látásnyelvi modelleknél a gondolkodási szint és a maximális kimeneti tokenek száma is állítható.

A Playground része az Arena mód. Ebben a felhasználó úgy szavazhat a jobb eredményt adó modellre, hogy annak kiléte nem látható. A Roboflow közlése szerint minden ötödik lekérdezés vak összehasonlításként fut, az így gyűjtött emberi preferenciák pedig bekerülnek az élő rangsorokba.

Külön benchmark és modellkatalógus

A Roboflow a szubjektív emberi értékelés mellett objektív méréseket is kínál a Vision Evals rendszerben. Ez 34 látásnyelvi modellt vizsgál hat szabványosított feladaton: objektumfelismerésen, számláláson, azonosításon, OCR-en, adatkivonaton és vizuális következtetésen.

Az objektumfelismerés pontozása mAP@50, az OCR-é szöveghasonlóság alapján történik, a további négy feladatnál pedig az egzakt egyezést használják. A rangsor az átlagos pontosság mellett a mintánkénti tokenfelhasználást, a becsült költséget és az átlagos következtetési sebességet is megjeleníti. A pontszámok frissülnek, amikor a szolgáltatók új modellverziókat adnak ki.

A Compare eszköz két-négy kiválasztott modell technikai összevetését készíti el. Egy nézetben hasonlíthatók össze a specifikációk, a kontextusablakok, a tokenárak, a késleltetés és a Vision Evals eredményei. A Model Directory 134 modellt indexel, és modalitás, szervezet, licenc vagy feladattípus szerint szűrhető.

A fejlesztők kiválaszthatják a megfelelő modellt

A katalógusban 87 nyílt forráskódú modell szerepel letölthető Apache 2.0 vagy MIT licenccel, ezek közül 37 a Playgroundban hosztolt API-n keresztül is fut. Emellett 47 saját API-val elérhető látásmodell és 49 specializált, egyetlen feladatra készült számítógépeslátás-modell található benne.

A Roboflow szerint a Playground elsősorban a gyors, nullalövéses, vagyis tanítás nélküli kipróbálást segíti. Ha a feladat és az osztálykészlet rögzített, a vállalat saját adatokkal betanított specializált modellt, például RF-DETR-t javasol, amely állítása szerint gyorsabban és olcsóbban fut. A Playground ingyenesen használható a támogatott modellek kipróbálására és összehasonlítására.