SemiAnalysis：TTFT被高估？大模型推理瓶頸在於權衡交互性與吞吐
來源：
x.com
SemiAnalysis 發文指出，大模型推理中常被引用的“首 token 延遲”（TTFT, time-to-first-token）可能被市場過度關注，推理系統的核心維度並非“越快越好”，而是在“單用戶交互速度（tok/s/user）”與“整體吞吐效率（tok/s/GPU）”之間的權衡。在多數場景中，TTFT 對體驗影響有限，但生成階段的 Token 速度纔是關鍵變量。SemiAnalysis 總結稱，僅約 10%–20%的推理任務真正受限於延遲，其餘大部分場景更依賴吞吐與成本效率優化。
