GetChain News
中简 中繁 EN
GetChain News
Toggle sidebar

Tether AI 發佈開源 TurboQuant,並將其集成至 QVAC SDK 0.12.0

來源: tether.io 事件類型: 上線/更新
Tether AI 宣佈發佈開源 TurboQuant,並將其納入 QVAC SDK 0.12.0。該技術基於 Google Research 的內存壓縮算法,可將大語言模型運行中的 KV 緩存壓縮最高約 5 倍,在儘量保持輸出質量的同時,降低本地與邊緣設備的內存佔用。

相關專案