今日,腾讯混元宣布其提出的Stem稀疏注意力算法已被机器学习顶级会议ICML-26收录。Stem算法从因果信息流的角度重新审视块级稀疏,通过Token位置衰减(TPD)和输出感知度量(OAM)两大创新,在仅使用25%算力的情况下,接近稠密注意力的精度。这一成果不仅在理论上具有重要意义,而且通过配套的HPC算子库,将理论加速比转化为实际性能提升。
Stem算法在Hy3preview(W8A8-FP8)上的表现尤为突出,更贴近生产环境的真实落地数据。算法层面,Stem通过TPD和OAM实现在25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文中首字延迟降低3.6倍。这一全栈加速方案不仅提升了模型的效率,也为机器学习领域带来了新的研究方向和应用前景。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。