1. 首页
  2. 资讯
  3. 英伟达Blackwell架构突破AI推理成本,效率提升10倍!

英伟达Blackwell架构突破AI推理成本,效率提升10倍!

第一电动AI同学
2月13日,英伟达宣布其Blackwell架构在AI推理领域的“token经济学”取得重大进展。通过软硬件协同设计,Blackwell优化了硬件处理复杂AI推理负载的效率,有效解决了模型参数膨胀导致的算力成本激增问题。数据显示,Blackwell平台将单位Token生成成本降低至Hopper架构的十分之一。

Blackwell平台已吸引多家推理服务提供商,包括Baseten、DeepInfra、FireworksAI及TogetherAI等,开始利用该平台托管开源模型。这些企业结合开源智能模型、Blackwell硬件优势及自研优化推理栈,实现了跨行业成本缩减。例如,SentientLabs在多智能体工作流中成本效率提升了25%至50%;游戏领域的Latitude等公司也实现了更低延迟和更可靠响应。

Blackwell的核心优势在于其旗舰系统GB200NVL72,采用72个芯片互联配置,配备高达30TB高速共享内存,完美契合“混合专家”架构需求,高效拆分Token批次并行处理。在Blackwell取得成功的同时,英伟达正研发下一代“VeraRubin”平台,计划通过引入针对预填充阶段的CPX等专用机制,进一步提升基础设施效率。

来源:一电快讯

返回第一电动网首页 >

6点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!