A Kilo Swarm 39 százalékkal csökkentette a költséget egy célfeladaton

Közös üzenőfalon dolgoznak az ügynökök

A Kilo Swarm olyan munkamenetet biztosít, amelyben a fő ügynök és az alügynökök, köztük a további alügynökök is, közös üzenőfalat használhatnak a feladat végrehajtása közben. Az alapértelmezés szerint bekapcsolt funkció két eszközt ad az ügynököknek: a board_post üzenetek közzétételére, valamint a board_read az üzenőfal tartalmának lekérésére.

A Kilo szeptember 23-án közzétett beszámolója szerint korábban a párhuzamosan dolgozó alügynökök csak a teljes feladat lezárása után tudták megosztani egymással a felfedezéseiket. Emiatt előfordulhatott, hogy egy ügynök olyan információt keresett meg újra, amelyet egy másik már megtalált.

A vizsgálatban az üzenőfal használata volt az egyetlen változó. A „board on” és „board off” tesztek ugyanazt a feladatot, ugyanazt a modellt és ugyanazt a promptot kapták. Mindkét oldalon az OpenAI GPT-6 Astra modell futott.

Egy feladaton 39,2 százalékos megtakarítást mértek

A Kilo egy olyan Terminal-Bench 4 feladatot választott, amelynél több alügynök dolgozik egymással összefüggő részfeladatokon. Az rs-archive-clone során egy Reed-Solomon hibajavítással védett archívumokat kezelő eszköz tiszta körű újraimplementálását kellett elkészíteni. A megoldásnak az eredeti program becsomagolását vagy újracsomagolását is el kellett kerülnie.

A 17 teszt a csomagolást, a fájlok listázását és kibontását, a jegyzéket, a hibaüzeneteket, a sérült archívumok javítását, valamint a hibás archívumok és adatfolyamok elutasítását vizsgálta. A parancssori felületnek, a használati szövegnek és a súgónak is meg kellett egyeznie az eredetivel.

A feladatot mindkét beállítással ötször futtatták le. A Kilo mérése szerint az egy futásra jutó költség 41,14 dollárról 25,00 dollárra esett, ami 39,2 százalékos csökkenés. A megadott intervallum teljes egészében nulla alatt maradt: [−25,12 dollár, −6,35 dollár]. Mind a tíz futás sikeres volt.

A végrehajtási idő 2375 másodpercről 1138 másodpercre csökkent. A megtakarítás szinte teljes egészében a fő ügynöknél jelentkezett: öt futás alatt a költsége 104,31 dollárról 46,20 dollárra mérséklődött, a gondolkodási tokenek száma pedig háromnegyedével csökkent. A fő ügynök 27 helyett 16 alügynököt indított, a kiosztási lépések száma pedig 96-ról 27-re esett.

Más feladatokon még nem bizonyított az előny

A Kilo két példával szemléltette, hogyan segített az üzenőfal. Az egyik futásban egy alügynök pontos javítást tett közzé egy helyreállítási segédprogram hibájára, majd 24 másodperccel később a fő ügynök alkalmazta a javítást. Egy másik esetben két alügynök már a munka megkezdése előtt felosztotta egymás között az átfedő kódterületeket, így nem kellett később összehasonlítaniuk két, egymást részben átfedő eredményt.

A Terminal-Bench 4 teljes eredményei alapján a Kilo alacsonyabb összköltést látott a Swarm használatakor, de ezt egyelőre nem tekinti bizonyítéknak. A feladatok többségén csak egy futás történt, így az eredményeket befolyásolhatja a futások közötti természetes ingadozás. Az ügynökalapú végrehajtások ugyanazon a feladaton, változtatás nélkül is jelentősen eltérhetnek.

A vállalat következtetése szerint a Kilo Swarm ott hoz egyértelmű eredményt, ahol több alügynök dolgozik egy költséges, felbontható feladat kapcsolódó részein, és a párhuzamos munka miatt könnyen megismétlődhet a felfedezés. Az rs-archive-clone esetében ez változatlan sikerarány mellett 39 százalékos költségcsökkentést jelentett.

A Kilo szerint a következő vizsgálati irány egy olyan szabályozás vagy prompt lehet, amely csak az ilyen feladatoknál aktiválja az üzenőfalat. Ezt a kapuzást még nem tesztelték. A Kilo Swarm jelenleg alapértelmezés szerint be van kapcsolva.