WASTE 推理引擎实现 Kimi K3 2.78T 模型在 64GB 笔记本本地运行
来源:
github.com
开源推理引擎 WASTE 实现了在配备 64GB 内存的 MacBook Pro 上运行完整 Kimi K3 模型。该方案通过按需流式加载专家权重,将最低内存占用降至约 29.05 GiB,无需量化即可完成本地推理。