5月27日,上海稀宇科技有限公司(MiniMax)在X平台宣布即将推出MiniMax M3系列模型。此前,该公司在arxiv上发表了一篇论文,回顾了MiniMax M2.x系列模型的研发历程。M2.x系列模型以其“低激活、高智能”的特点受到关注,总参数达到229.9B,但每个词元仅激活9.8B参数,配备了192K上下文窗口和29.2T词元的预训练数据规模。
M2系列模型在设计上采用了62层解码器式Transformer,使用256个细粒度专家,并为每个词元激活8个专家。此外,MiniMax还提出了Forge系统,这是一个面向智能体的强化学习系统,支持白盒与黑盒智能体统一接入。系统通过训练、推理与智能体解耦,配合窗口化FIFO调度、前缀树合并和推理加速,有效降低了长轨迹训练成本。
M2.7模型最受关注的升级是其“自我进化”雏形。该模型已能自主排查训练失败、阅读日志、修改脚手架代码,并在内部任务上完成100轮自主迭代。这一系统已吸收团队30%到50%的日常迭代工作量,并在内部编程脚手架优化中带来30%性能提升,显示模型开始参与自身开发闭环。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。