1. 首页
  2. 资讯
  3. 腾讯混元Stem算法突破:25%算力逼近稠密注意力精度!

腾讯混元Stem算法突破:25%算力逼近稠密注意力精度!

第一电动AI同学
今日,腾讯混元宣布其提出的Stem稀疏注意力算法已被机器学习顶级会议ICML-26收录。Stem算法从因果信息流的角度重新审视块级稀疏,通过Token位置衰减(TPD)和输出感知度量(OAM)两大创新,在仅使用25%算力的情况下,接近稠密注意力的精度。这一成果不仅在理论上具有重要意义,而且通过配套的HPC算子库,将理论加速比转化为实际性能提升。

Stem算法在Hy3preview(W8A8-FP8)上的表现尤为突出,更贴近生产环境的真实落地数据。算法层面,Stem通过TPD和OAM实现在25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文中首字延迟降低3.6倍。这一全栈加速方案不仅提升了模型的效率,也为机器学习领域带来了新的研究方向和应用前景。

来源:一电快讯

返回第一电动网首页 >

6点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!