A Roboflowhoz érkezett a Gemini 4 Argon multimodális modell

Objektumfelismerés, számlálás és szövegkinyerés

A Roboflow október 13-i bejelentése szerint a Gemini 4 Argon a Google legújabb multimodális modellje. A vállalat Roboflow Playground felületén valós feladatokon hasonlítja össze a látásmodelleket, és a közlemény szerint a Gemini 4 Argon az írás idején első helyen állt az objektumfelismerési, számlálási és szövegkinyerési feladatokban.

A modellnek egy képet és természetes nyelvű utasítást kell adni. Válaszként szöveget, strukturált adatot vagy a kért objektumokat körülvevő határolókereteket adhat vissza. A Roboflow szerint különösen hasznos lehet gyártási, logisztikai és légi felvételeken található objektumok felismerésére, megszámlálására és a képeken szereplő szöveg beolvasására.

Automatikus címkézésből gyors, specializált modell

A Gemini 4 Argon az Auto Label funkcióban egy teljes képcsomagot is fel tud címkézni. A felhasználó felsorolja a felismerendő objektumokat, rövid leírást ad róluk, a modell pedig megtalálja a képeken az egyezéseket és megrajzolja körülöttük a határolókereteket. Így több száz kép címkézése után már csak az eredményeket kell ellenőrizni.

Az így létrehozott címkék egy specializált modell tanítási adataivá válhatnak. A Roboflow példája szerint egy kőfejtő drónfelvételeiből azonosítható többek között a teherautó, a dömper, a kerekes rakodó, a kotrógép és a rostálóüzem. A címkézett képekből RF-DETR modell tanítható, amely a helyszínen közlekedő járműveket képkockáról képkockára követheti.

A Gemini 4 Argon elérhető az objektumfelismerési projektek Auto Label funkciójában, a címkeszerkesztő Label Assist eszközében és a Roboflow Agentben. Az Auto Label feladatok a Roboflow API-ból, az MCP-szerverről és a Python SDK-ból is indíthatók a gemini-4-argon-boxes modelltípus megadásával. Fizetős csomagokban ez lett az objektumfelismerési címkézés alapértelmezett modellje.

A Workflows többféle képfeldolgozási feladatra használható

A Roboflow Workflows rendszerében a modellek és a logikai lépések összekapcsolhatók, majd az eredmény felhőben vagy saját hardveren futtatható. A Gemini 4 Argon mostantól választható modell a Google Gemini blokkban. A támogatott feladatok között szerepel az objektumfelismerés, az OCR-alapú szövegfelismerés, a strukturált JSON-kimenet, az egy- és többcímkés osztályozás, a vizuális kérdésválaszolás, a képaláírás készítése és a szabad utasítás követése.

A Roboflow szerint a nagy multimodális modell képenként több időt és költséget igényelhet, mint egy specializált detektor. Ezért a rendszerben például egy RF-DETR minden videókockát feldolgozhat, a Gemini 4 Argon pedig csak a releváns képkockákat vagy képrészleteket kapja meg.

Az egyik bemutatott példa az összeszerelt alaplapok ellenőrzése. A detektor megkeresi a kondenzátorokat, a Dynamic Crop lépés kivágja őket, a Gemini 4 Argon pedig kiolvassa a kapacitás- és feszültségértékeket, majd ezeket JSON-mezőkben adja vissza. Egy további lépés összeveti az adatokat az anyagjegyzékkel, és eltérés esetén javításra jelöli a lapot.

A Gemini 4 Argonnal készült Workflows jelenleg a Roboflow felhőjében, a Serverless API-n keresztül futnak. A saját üzemeltetésű következtetési szerverek támogatását a Roboflow Inference egy későbbi kiadásban tervezi. Alapértelmezés szerint a használatot a Roboflow kezelt kulcsa és kreditrendszere kezeli, de a felhasználó saját Google AI API-kulcsot is megadhat, és közvetlenül a Google felé fizethet.