Unsloth 发布 GLM-5.3 GGUF 量化版本地运行指南

GLM-5.3 can now be run locally! The 2-bit model retains ~81% accuracy after we shrunk it from 1.51T...

Unsloth 发布 GLM-5.3 的动态 GGUF 量化版本，2-bit 模型从 1.51TB 压缩到 239GB（缩小 83%），保留约 81% top-1 准确率，1-bit 则以缩小 85% 达到约 76%。

在本地运行 Qwen3.8 27B：来自我的 Mac Studio 的实际数据

Qwen3.8 27B（27.3B 参数，混合注意力架构，262,144 token 上下文窗口，Apache 2.0 开源）在 Mac Studio M3 Ultra 上经 Ollama 以 Q4_K_M 量化（17GB）生成速度约 14 tokens/s。

SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3

Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。