WASTE 推理引擎實現 Kimi K3 2.78T 模型在 64GB 筆記本本地運行
來源:
github.com
開源推理引擎 WASTE 實現了在配備 64GB 內存的 MacBook Pro 上運行完整 Kimi K3 模型。該方案通過按需流式加載專家權重,將最低內存佔用降至約 29.05 GiB,無需量化即可完成本地推理。