今日,蚂蚁集团发布了首个混合线性架构的万亿参数思考模型——Ring-2.5-1T,并宣布开源。这一模型是通用智能体时代的关键进展,通过混合线性注意力架构在预训练和强化学习上进行了大规模扩展。Ring-2.5-1T在生成效率、思考深度、长程执行上相比之前的Ring-1T有显著提升,尤其在超过32K生成长度下,访存规模降低10倍以上,生成吞吐提升3倍以上,适合深度思考和长程执行任务。
Ring-2.5-1T在数学、代码、逻辑等高难推理任务和智能体搜索、软件工程、工具调用等长程任务执行上达到了开源领先水平。团队还测试了深度思考模式,通过扩展并行思考与总结,有效提升推理的深度与广度。在IMO2025和CMO2025中,Ring-2.5-1T均达到金牌水平。此外,Ling2.5架构在Ling2.0架构基础上引入了混合线性注意力架构,通过增量训练方式,将GQA升级为1:7的MLA+LightningLinear结构,显著提升了长程推理场景下的吞吐能力。
蚂蚁集团指出,尽管Ring-2.5-1T在推理效率上实现了大幅提升,但在token efficiency与指令遵循方面仍存在不足,团队将在后续版本中持续改进,并期待社区的使用反馈与建议。目前,Ring-2.5-1T的训练仍在持续推进中,完整技术报告将在下一版本发布后公开。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。