AgentX
Az AgentX címke az MI-ügynökökhöz és az ügynöki működéshez kapcsolódó híreket gyűjti. Az ilyen rendszerek összetettebb feladatok végrehajtásában vesznek részt, ezért a működésükhöz szükséges modellek és kiszolgálási megoldások az MI-fejlesztés fontos területét jelentik.
Itt olvashatók az ügynöki kódolással, a nagy nyelvi modellek kiszolgálásával és az ügynöki terhelések kezelésével kapcsolatos hírek. A friss cikkek a vLLM fejlesztéseit, a Kimi K3 gyorsítását, valamint az ilyen feladatokhoz szükséges új kiszolgálási stratégiákat mutatják be.
A vLLM ügynöki kódolással gyorsította a Kimi K3-at
A vLLM új, CuTe DSL-re épülő dekódolási útvonalat készített a Kimi K3-hoz NVIDIA GB300 GPU-kon. A projektben kódoló ügynökök segítettek a GPU-kern el ek, a műveletek…
A vLLM szerint az ügynöki terhelésekhez új kiszolgálási stratégia kell
Az ügynöki mesterségesintelligencia-terhelések miatt a vLLM a teljes kiszolgálási veremet optimalizálja, a gyorsítótár-kezeléstől a párhuzamosításon át a kérések…