新闻热度趋势
项目概述
Inference 是一个基于 Solana、用于 LLM 推理的分布式 GPU 集群，为DeepSeek V3和Llama 3.3等模型提供快速、可扩展、按 Token 付费的 API 。
事件相关快讯
NVIDIA推出Nemotron 3 Nano Omni模型，多模态推理效率提升9倍
NVIDIA 在 X 平台发文表示，今日推出开源多模态模型 Nemotron 3 Nano Omni。该模型采用 30B-A3B 混合专家架构（MoE），支持 256K 上下文，可统一处理视频、音频、图像及文本输入。与同类交互水平的开源全能模型相比，该模型吞吐量提升达 9 倍，大幅降低推理成本并提高扩展性。目前 Nemotron 3 Nano Omni 已在 Hugging Face、OpenRouter 及 NVIDIA NIM 上线，并获得 Aible、Applied Scientific Intelligence、H Company 等企业采用。
SK 电信联合 Arm与 Rebellions，三方合作开发 AI 数据中心推理解决方案
据韩联社报道，SK 电信宣布与英国芯片设计公司 Arm 及韩国 AI 芯片初创企业 Rebellions 签署三方谅解备忘录（MOU），共同开发 AI 数据中心推理服务器解决方案。 根据协议，三方将结合 Arm 新发布的 AGI CPU与 Rebellions 预计于今年第三季度推出的 AI 加速芯片 RebelCard，联合开发 AI 推理服务器，并在 SK 电信的 AI 数据中心进行测试与验证。其中，Arm AGI CPU 针对高密度推理环境与大规模 AI 部署优化，RebelCard 则专为大规模 AI 推理设计。
相关新闻
NVIDIA推出Nemotron 3 Nano Omni模型，多模态推理效率提升9倍
NVIDIA 在 X 平台发文表示，今日推出开源多模态模型 Nemotron 3 Nano Omni。该模型采用 30B-A3B 混合专家架构（MoE），支持 256K 上下文，可统一处理视频、音频、图像及文本输入。与同类交互水平的开源全能模型相比，该模型吞吐量提升达 9 倍，大幅降低推理成本并提高扩展性。目前 Nemotron 3 Nano Omni 已在 Hugging Face、OpenRouter 及 NVIDIA NIM 上线，并获得 Aible、Applied Scientific Intelligence、H Company 等企业采用。
SK 电信联合 Arm与 Rebellions，三方合作开发 AI 数据中心推理解决方案
据韩联社报道，SK 电信宣布与英国芯片设计公司 Arm 及韩国 AI 芯片初创企业 Rebellions 签署三方谅解备忘录（MOU），共同开发 AI 数据中心推理服务器解决方案。 根据协议，三方将结合 Arm 新发布的 AGI CPU与 Rebellions 预计于今年第三季度推出的 AI 加速芯片 RebelCard，联合开发 AI 推理服务器，并在 SK 电信的 AI 数据中心进行测试与验证。其中，Arm AGI CPU 针对高密度推理环境与大规模 AI 部署优化，RebelCard 则专为大规模 AI 推理设计。