新聞熱度趨勢
項目概述
Inference 是一個基於 Solana、用於 LLM 推理的分佈式 GPU 集羣，爲DeepSeek V3和Llama 3.3等模型提供快速、可擴展、按 Token 付費的 API 。
事件相關快訊
NVIDIA推出Nemotron 3 Nano Omni模型，多模態推理效率提升9倍
NVIDIA 在 X 平臺發文表示，今日推出開源多模態模型 Nemotron 3 Nano Omni。該模型採用 30B-A3B 混合專家架構（MoE），支持 256K 上下文，可統一處理視頻、音頻、圖像及文本輸入。與同類交互水平的開源全能模型相比，該模型吞吐量提升達 9 倍，大幅降低推理成本並提高擴展性。目前 Nemotron 3 Nano Omni 已在 Hugging Face、OpenRouter 及 NVIDIA NIM 上線，並獲得 Aible、Applied Scientific Intelligence、H Company 等企業採用。
SK 電信聯合 Arm與 Rebellions，三方合作開發 AI 數據中心推理解決方案
據韓聯社報道，SK 電信宣佈與英國芯片設計公司 Arm 及韓國 AI 芯片初創企業 Rebellions 簽署三方諒解備忘錄（MOU），共同開發 AI 數據中心推理服務器解決方案。 根據協議，三方將結合 Arm 新發布的 AGI CPU與 Rebellions 預計於今年第三季度推出的 AI 加速芯片 RebelCard，聯合開發 AI 推理服務器，並在 SK 電信的 AI 數據中心進行測試與驗證。其中，Arm AGI CPU 針對高密度推理環境與大規模 AI 部署優化，RebelCard 則專爲大規模 AI 推理設計。
相關新聞
NVIDIA推出Nemotron 3 Nano Omni模型，多模態推理效率提升9倍
NVIDIA 在 X 平臺發文表示，今日推出開源多模態模型 Nemotron 3 Nano Omni。該模型採用 30B-A3B 混合專家架構（MoE），支持 256K 上下文，可統一處理視頻、音頻、圖像及文本輸入。與同類交互水平的開源全能模型相比，該模型吞吐量提升達 9 倍，大幅降低推理成本並提高擴展性。目前 Nemotron 3 Nano Omni 已在 Hugging Face、OpenRouter 及 NVIDIA NIM 上線，並獲得 Aible、Applied Scientific Intelligence、H Company 等企業採用。
SK 電信聯合 Arm與 Rebellions，三方合作開發 AI 數據中心推理解決方案
據韓聯社報道，SK 電信宣佈與英國芯片設計公司 Arm 及韓國 AI 芯片初創企業 Rebellions 簽署三方諒解備忘錄（MOU），共同開發 AI 數據中心推理服務器解決方案。 根據協議，三方將結合 Arm 新發布的 AGI CPU與 Rebellions 預計於今年第三季度推出的 AI 加速芯片 RebelCard，聯合開發 AI 推理服務器，並在 SK 電信的 AI 數據中心進行測試與驗證。其中，Arm AGI CPU 針對高密度推理環境與大規模 AI 部署優化，RebelCard 則專爲大規模 AI 推理設計。