GetChain News
中简 中繁 EN
GetChain News
Toggle sidebar

Tether AI 发布开源 TurboQuant,并将其集成至 QVAC SDK 0.12.0

来源: tether.io 事件类型: 上线/更新
Tether AI 宣布发布开源 TurboQuant,并将其纳入 QVAC SDK 0.12.0。该技术基于 Google Research 的内存压缩算法,可将大语言模型运行中的 KV 缓存压缩最高约 5 倍,在尽量保持输出质量的同时,降低本地与边缘设备的内存占用。

相关项目