A Firecrawl egyetlen API-ba tereli a webes és külső adatforrásokat

A Firecrawl bemutatta a Universal Scrape-et, amely a meglévő /scrape végponton keresztül weboldalak, fájlok, képek és külső szolgáltatók adataihoz biztosít hozzáférést. A vállalat célja, hogy az ügynökalapú alkalmazások fejlesztőinek kevesebb külön kapcsot, értelmezőt és API-integrációt kelljen fenntartaniuk.
- A Universal Scrape weboldalak, fájlok, képek és külső szolgáltatói adatok elérését egy /scrape végpontra hozza.
- A támogatott források között profilok, vállalati pénzügyi adatok és podcastok is szerepelnek.
- Az Alexandria több mint 200 szolgáltatót fog össze, ezek közül egyre több érhető el a Universal Scrape-ben.
- A használat ugyanazzal a Firecrawl API-kulccsal történik, a szolgáltatói hívásokat Firecrawl-kreditek terhelik.
Egy végpont weboldalakhoz és fájlokhoz
A Firecrawl szerint egy ügynök sokféle feladatot képes elvégezni, ha hozzáfér a megfelelő háttérinformációkhoz. Ennek biztosítása azonban gyakran külön webkaparó, fájlfeldolgozó és API-kapcsolat elkészítését igényli. A Universal Scrape ezt a munkát a Firecrawl már használt /scrape végpontjába szervezi.
A szolgáltatás dinamikus weboldalak, PDF-ek és képek feldolgozására használható, emellett URL-en keresztül elérhető Word-dokumentumokat, táblázatokat és prezentációkat is támogat. A Firecrawl kezeli a weboldalak és fájlok megjelenítését, az újrapróbálkozásokat és az adatok értelmezését. A fejlesztők így ugyanazon az API-n keresztül adhatnak további kontextust az ügynökeiknek.
Profilok, pénzügyek és podcastok az Alexandria révén
A Universal Scrape az Alexandria nevű szolgáltatói rétegen keresztül külső adatforrásokat is elér. A Firecrawl közlése szerint az Alexandria több mint 200 szolgáltatót fog össze, a Universal Scrape pedig ezek egyre bővülő körével működik együtt. A cég naponta új szolgáltatókat ad a rendszerhez, és ezek közül egyre többet tesz elérhetővé a /scrape végponton.
A támogatott területek között szerepelnek a személyi és vállalati profilok, amelyekhez többek között az Apollo, a FullEnrich és a Data Legion adatai használhatók. A pénzügyi adatok és piaci információk elérését olyan szolgáltatók biztosítják, mint a Fiscal.ai és a Benzinga. A Particle podcastkeresést, epizódkeresést és leiratokat kínál, így az ügynökök releváns beszélgetéseket és azok szövegrészleteit is megtalálhatják.
Egyes támogatott profil-URL-ek közvetlenül is a felhasználó által beállított adatgazdagító szolgáltatókhoz irányíthatók. A weboldalakhoz és támogatott dokumentumokhoz URL-t kell küldeni, a szolgáltatói adatokhoz pedig az Alexandria megfelelő képességét kell meghívni ugyanazon a végponton.
A meglévő Firecrawl-kulcs használható
A már Firecrawl-t használó fejlesztők továbbra is lekérhetik a weboldalakat és dokumentumokat, amelyekre ügynökeiknek szükségük van, és szükség esetén szolgáltatói adatokat is hozzáadhatnak. Mindkét használati mód ugyanazt a Firecrawl API-kulcsot alkalmazza. A szolgáltatói hívásokat Firecrawl-kreditekkel számlázzák, az egyes eszközök feltüntetett ára alapján.
A Firecrawl példakódja ugyanazzal a klienssel olvas be egy weboldalt Markdown-formátumban, majd podcastbeszélgetéseket keres a Particle szolgáltatásán keresztül. A példában a keresés az „AI agents” kifejezésre fut, legfeljebb két találattal, és a válasz egyező leiratrészleteket ad vissza. A podcastos hívás előtt egy szervezeti adminisztrátornak el kell fogadnia a Particle szolgáltatói feltételeit.
Kevesebb külön integrációt ígér a Firecrawl
A Universal Scrape a Firecrawl által épített alkalmazásokban használható, emellett a szolgáltatás MCP-n vagy parancssori felületen keresztül is összekapcsolható egy ügynökkel. A vállalat tovább bővíti azt, amit a fejlesztők a /scrape végponton keresztül elérhetnek.
A Firecrawl célja, hogy egy új adatforrás hozzáadásakor az ügynök több információval dolgozhasson, miközben a fejlesztőnek ne kelljen újabb külön integrációt fenntartania. A használathoz a legújabb Firecrawl SDK, valamint a FIRECRAWL_API_KEY környezeti változó szükséges. A részletes URL-kezelést a Scrape dokumentációja, a szolgáltatói eszközök használatát pedig az Alexandria dokumentációja ismerteti.
Firecrawl: Introducing Universal Scrape


