GetChain News
中简 中繁 EN
GetChain News
Toggle sidebar
Inference

Inference

運營中

用於 LLM 推理的分佈式 GPU 集羣

新聞熱度趨勢

項目概述

Inference 是一個基於 Solana、用於 LLM 推理的分佈式 GPU 集羣,爲DeepSeek V3和Llama 3.3等模型提供快速、可擴展、按 Token 付費的 API 。

消息人士:英偉達擬向中國客戶推銷Vera AI CPU,部分雲廠商擬啓動測試部署

知情人士稱,英偉達開始向中國客戶推銷其首款獨立中央處理器(CPU)產品 Vera。該芯片專爲 Agentic AI(自主智能體)系統設計,目前已進入量產階段,標誌着英偉達正嘗試通過 CPU 產品進一步拓展中國市場。消息人士稱,部分中國客戶已對 Vera 表現出興趣。其中一家大型中國雲計算公司計劃採購 300 餘臺搭載雙 Vera CPU 的服務器進行測試,並將在測試完成後決定是否擴大采購規模。Vera 基於 Arm Holdings 架構打造,是英偉達首次推出的獨立 CPU 產品。英偉達此前表示,Vera 在 AI 智能體相關計算任務中的性能可達到競爭對手同類產品的 1.8 倍,並預計該產品將在本財年結束前(截至明年 1 月底)貢獻約 200 億美元收入。報道指出,隨着 AI 行業重心逐步從模型訓練轉向推理計算(Inference),CPU 與定製芯片正獲得更多關注。Vera 也使英偉達直接與長期主導服務器 CPU 市場的 Intel 和 Advanced Micro Devices(AMD)展開競爭。知情人士表示,由於美國對高端 GPU 出口實施嚴格限制,相較於 GPU 產品,CPU 在中國市場面臨的監管障礙相對較小。目前部分中國客戶計劃先在海外數據中心部署 Vera 芯片進行測試。與此同時,軟件生態兼容性以及現有國產 AI 芯片部署體系,仍可能影響 Vera 後續的大規模採用。(Reuters)

消息人士:英偉達擬向中國客戶推銷Vera AI CPU,部分雲廠商擬啓動測試部署

知情人士稱,英偉達開始向中國客戶推銷其首款獨立中央處理器(CPU)產品 Vera。該芯片專爲 Agentic AI(自主智能體)系統設計,目前已進入量產階段,標誌着英偉達正嘗試通過 CPU 產品進一步拓展中國市場。消息人士稱,部分中國客戶已對 Vera 表現出興趣。其中一家大型中國雲計算公司計劃採購 300 餘臺搭載雙 Vera CPU 的服務器進行測試,並將在測試完成後決定是否擴大采購規模。Vera 基於 Arm Holdings 架構打造,是英偉達首次推出的獨立 CPU 產品。英偉達此前表示,Vera 在 AI 智能體相關計算任務中的性能可達到競爭對手同類產品的 1.8 倍,並預計該產品將在本財年結束前(截至明年 1 月底)貢獻約 200 億美元收入。報道指出,隨着 AI 行業重心逐步從模型訓練轉向推理計算(Inference),CPU 與定製芯片正獲得更多關注。Vera 也使英偉達直接與長期主導服務器 CPU 市場的 Intel 和 Advanced Micro Devices(AMD)展開競爭。知情人士表示,由於美國對高端 GPU 出口實施嚴格限制,相較於 GPU 產品,CPU 在中國市場面臨的監管障礙相對較小。目前部分中國客戶計劃先在海外數據中心部署 Vera 芯片進行測試。與此同時,軟件生態兼容性以及現有國產 AI 芯片部署體系,仍可能影響 Vera 後續的大規模採用。(Reuters)

AMD 宣佈向英國 AI 基礎設施投資 20 億英鎊,聯合初創公司 Oriole 落地全球首個純光子網絡 AI 系統

據 Tech Funding News 報道,AMD 首席執行官 Lisa Su 於倫敦科技周宣佈,公司將在未來五年內向英國 AI 基礎設施投資最高 20 億英鎊,涵蓋國家超算基礎設施建設及高校研究合作。與此同時,AMD 與倫敦 UCL 衍生初創公司 Oriole Networks 合作,依託英國政府 5000 萬英鎊 ARIA 推理擴展實驗室項目,部署全球首個大規模純光子網絡 AI 系統。該系統以 Oriole 的 PRISM 光子網絡平臺搭配 AMD Instinct GPU 及 EPYC CPU,通過徹底移除網絡核心中的電子開關,將核心網絡能耗降低 81%,GPU 閒置時間從 60% 壓縮至 1% 以下。

NVIDIA推出Nemotron 3 Nano Omni模型,多模態推理效率提升9倍

NVIDIA 在 X 平臺發文表示,今日推出開源多模態模型 Nemotron 3 Nano Omni。該模型採用 30B-A3B 混合專家架構(MoE),支持 256K 上下文,可統一處理視頻、音頻、圖像及文本輸入。與同類交互水平的開源全能模型相比,該模型吞吐量提升達 9 倍,大幅降低推理成本並提高擴展性。目前 Nemotron 3 Nano Omni 已在 Hugging Face、OpenRouter 及 NVIDIA NIM 上線,並獲得 Aible、Applied Scientific Intelligence、H Company 等企業採用。

SK 電信聯合 Arm與 Rebellions,三方合作開發 AI 數據中心推理解決方案

據韓聯社報道,SK 電信宣佈與英國芯片設計公司 Arm 及韓國 AI 芯片初創企業 Rebellions 簽署三方諒解備忘錄(MOU),共同開發 AI 數據中心推理服務器解決方案。 根據協議,三方將結合 Arm 新發布的 AGI CPU與 Rebellions 預計於今年第三季度推出的 AI 加速芯片 RebelCard,聯合開發 AI 推理服務器,並在 SK 電信的 AI 數據中心進行測試與驗證。其中,Arm AGI CPU 針對高密度推理環境與大規模 AI 部署優化,RebelCard 則專爲大規模 AI 推理設計。

相關新聞

Ornn AI 推出令牌價格指數,衡量 OpenAI 與 Anthropic 推理令牌實際成本

據 PR Newswire 報道,Ornn AI 宣佈推出 Ornn 令牌價格指數(OTPI),用於衡量 OpenAI、Anthropic 等人工智能模型開發商輸出令牌的實際成本。該指數按各模型已成交令牌交易量加權,形成以“每百萬令牌對應美元價格”計量的日度指標,可反映模型使用結構、輸入與輸出佔比以及緩存等因素對實際成本的影響。

消息人士:英偉達擬向中國客戶推銷Vera AI CPU,部分雲廠商擬啓動測試部署

知情人士稱,英偉達開始向中國客戶推銷其首款獨立中央處理器(CPU)產品 Vera。該芯片專爲 Agentic AI(自主智能體)系統設計,目前已進入量產階段,標誌着英偉達正嘗試通過 CPU 產品進一步拓展中國市場。消息人士稱,部分中國客戶已對 Vera 表現出興趣。其中一家大型中國雲計算公司計劃採購 300 餘臺搭載雙 Vera CPU 的服務器進行測試,並將在測試完成後決定是否擴大采購規模。Vera 基於 Arm Holdings 架構打造,是英偉達首次推出的獨立 CPU 產品。英偉達此前表示,Vera 在 AI 智能體相關計算任務中的性能可達到競爭對手同類產品的 1.8 倍,並預計該產品將在本財年結束前(截至明年 1 月底)貢獻約 200 億美元收入。報道指出,隨着 AI 行業重心逐步從模型訓練轉向推理計算(Inference),CPU 與定製芯片正獲得更多關注。Vera 也使英偉達直接與長期主導服務器 CPU 市場的 Intel 和 Advanced Micro Devices(AMD)展開競爭。知情人士表示,由於美國對高端 GPU 出口實施嚴格限制,相較於 GPU 產品,CPU 在中國市場面臨的監管障礙相對較小。目前部分中國客戶計劃先在海外數據中心部署 Vera 芯片進行測試。與此同時,軟件生態兼容性以及現有國產 AI 芯片部署體系,仍可能影響 Vera 後續的大規模採用。(Reuters)

AMD 宣佈向英國 AI 基礎設施投資 20 億英鎊,聯合初創公司 Oriole 落地全球首個純光子網絡 AI 系統

據 Tech Funding News 報道,AMD 首席執行官 Lisa Su 於倫敦科技周宣佈,公司將在未來五年內向英國 AI 基礎設施投資最高 20 億英鎊,涵蓋國家超算基礎設施建設及高校研究合作。與此同時,AMD 與倫敦 UCL 衍生初創公司 Oriole Networks 合作,依託英國政府 5000 萬英鎊 ARIA 推理擴展實驗室項目,部署全球首個大規模純光子網絡 AI 系統。該系統以 Oriole 的 PRISM 光子網絡平臺搭配 AMD Instinct GPU 及 EPYC CPU,通過徹底移除網絡核心中的電子開關,將核心網絡能耗降低 81%,GPU 閒置時間從 60% 壓縮至 1% 以下。

NVIDIA推出Nemotron 3 Nano Omni模型,多模態推理效率提升9倍

NVIDIA 在 X 平臺發文表示,今日推出開源多模態模型 Nemotron 3 Nano Omni。該模型採用 30B-A3B 混合專家架構(MoE),支持 256K 上下文,可統一處理視頻、音頻、圖像及文本輸入。與同類交互水平的開源全能模型相比,該模型吞吐量提升達 9 倍,大幅降低推理成本並提高擴展性。目前 Nemotron 3 Nano Omni 已在 Hugging Face、OpenRouter 及 NVIDIA NIM 上線,並獲得 Aible、Applied Scientific Intelligence、H Company 等企業採用。

SK 電信聯合 Arm與 Rebellions,三方合作開發 AI 數據中心推理解決方案

據韓聯社報道,SK 電信宣佈與英國芯片設計公司 Arm 及韓國 AI 芯片初創企業 Rebellions 簽署三方諒解備忘錄(MOU),共同開發 AI 數據中心推理服務器解決方案。 根據協議,三方將結合 Arm 新發布的 AGI CPU與 Rebellions 預計於今年第三季度推出的 AI 加速芯片 RebelCard,聯合開發 AI 推理服務器,並在 SK 電信的 AI 數據中心進行測試與驗證。其中,Arm AGI CPU 針對高密度推理環境與大規模 AI 部署優化,RebelCard 則專爲大規模 AI 推理設計。