llamafile
A beállítások többet számítanak, mint a helyi LLM-szerverek neve
A Mozilla.ai négy népszerű helyi LLM-szervert hasonlított össze Mac Studio M4-en, NVIDIA L40S-en és Steam Decken. A mérések szerint a teljesítményt sok esetben inkább a…
A llamafile már a Ternary Bonsai 27B és a Laguna-S-2.1 modellt is futtatja
Megjelent a llamafile v0.10.5, amely a frissebb llama.cpp révén támogatja a Ternary Bonsai 27B és a Poolside Laguna-S-2.1 modelleket. A kiadás dokumentációs javításokat…