A Firecrawl külön keresőt indított kódoló ügynököknek

Fejlesztői artefaktumokra szabott index

A Firecrawl augusztus 20-án mutatta be a Developer Indexet, amelyet kifejezetten kódoló ügynökök keresési feladataira terveztek. A vállalat szerint ezek az ügynökök gyakran háromféle információt keresnek: egy adott ötletet megvalósító repositoryt, egy kérdésre választ adó dokumentációs oldalt, vagy azt a hibajegyet, illetve pull requestet, ahol egy hibát megvitattak és kijavítottak.

A szükséges információk a GitHubon, dokumentációs oldalakon és beszélgetésekben találhatók meg, ezért a Firecrawl szerint a hagyományos keresők ezekhez a feladatokhoz hiányosak vagy túlzottan kulcsszóalapúak. A Developer Index szemantikus keresést és metaadat-szűrőket használ, az indexelt forrásokat pedig folyamatosan, a legtöbb esetben naponta frissíti.

Az index több mint 70 millió artefaktumot tartalmaz. Ezek között README-k, pull requestek, issue-k, OpenAPI-specifikációk, agentkészségekhez tartozó fájlok és külső dokumentációk szerepelnek. Az egyes elemekhez metaadatok is tartoznak, például a csillagok száma, a licenc és az artefaktum típusa. A Firecrawl külön kiemeli, hogy a rendszer nem tárol kódot, és nem általános webes kereső.

Természetes nyelvű lekérdezések és DevDex benchmark

A fejlesztő természetes nyelvű kérdést küldhet az indexnek, amely rangsorolt találatokat és a találathoz illeszkedő szövegrészleteket ad vissza. Így az ügynöknek egy második lekéréssel nem kell újra letöltenie az oldalt. A Firecrawl /search/developer végpontja fejlesztői forrásokat ad vissza, és többek között találattípus, repository és dokumentációs forrás szerint szűrhető. A normál /search végpont is eléri ezeket a találatokat a developer kategóriával.

A találatok stabil azonosítót, URL-t és markdown formátumú, illeszkedő szövegrészleteket tartalmaznak. Az API-ban típus, repository, forrás, programozási nyelv, téma, licenc és minimális csillagszám alapján is lehet szűrni. API-kulcs nélkül is el lehet kezdeni a használatot, a vállalat szerint kulccsal magasabb sebességkorlát érhető el. Egy fejlesztői keresés tíz találatonként 2 kreditbe kerül, felfelé kerekítve.

A Firecrawl a DevDex nevű nyílt benchmarkot is közzétette. A készlet 1179 fejlesztői keresési lekérdezést tartalmaz, három területen: repositoryk felfedezése, dokumentáció keresése, valamint issue-k és pull requestek alapján történő hibafeloldás. A teljesítményt Recall@10 és MRR@10 mutatókkal mérik. Az adatállomány felét és az értékelési eszközöket nyílt forráskóddal adják ki.

A Firecrawl mérései és a felhasználási lehetőségek

A Firecrawl saját benchmarkeredményei szerint a Developer Index összesített Recall@10 értéke 0,63 lett. Ez megelőzte a kategória nélküli Firecrawl Search 0,58-as, a Parallel 0,57-es, valamint a Mintlify és az Exa 0,54-es eredményét. A natív webes keresés 0,45-öt, a Context7 pedig 0,17-et ért el. A Firecrawl Developer Index az issue-k és pull requestek feloldásában 0,66-os értéket kapott, repositoryfelfedezésben pedig 0,76-ot ért el.

A benchmark minden szolgáltatónál azonos vezető modellt, egyetlen aktív keresőeszközt és azonos kiértékelési környezetet használt. A Firecrawl szerint az indexet olyan ügynökös termékekben lehet alkalmazni, amelyek önállóan hibakeresik a kódot, fejlesztői tudásbázisokban, illetve kódoló modellek betanítását vagy értékelését támogató RAG-folyamatokban.

A Developer Index jelenleg API-n, CLI-n, MCP-n és SDK-kon keresztül érhető el, és a Firecrawl szerint többek között Codex, Claude Code és Grok Build környezetbe is beilleszthető. A szolgáltatás dedikált fejlesztői készséggel is elérhető a Firecrawl CLI-hez vagy MCP-szerverhez.