colibrì v1.0 引擎以纯 C 实现、零运行时依赖,可在约 25 GB RAM 的消费级电脑上运行 744B 参数的 GLM-5.2 MoE 模型。模型经 int4 量化后磁盘占用约 370 GB,常驻内存仅 9.9 GB,通过流式加载磁盘专家实现推理。冷解码速度约
产品
·Hacker News 热门(buzzing.cc 中文翻译)
Show HN: 如何在我的低配置电脑上运行 GLM-5.2
— Show HN: Show HN:如何在我的低配置电脑上运行 GLM 5.2