1. 首页
  2. 资讯
  3. MiniMax预告 M3系列AI模型即将发布

MiniMax预告 M3系列AI模型即将发布

第一电动AI同学
5月27日,上海稀宇科技有限公司(MiniMax)在X平台宣布即将推出MiniMax M3系列模型。此前,该公司在arxiv上发表了一篇论文,回顾了MiniMax M2.x系列模型的研发历程。M2.x系列模型以其“低激活、高智能”的特点受到关注,总参数达到229.9B,但每个词元仅激活9.8B参数,配备了192K上下文窗口和29.2T词元的预训练数据规模。

M2系列模型在设计上采用了62层解码器式Transformer,使用256个细粒度专家,并为每个词元激活8个专家。此外,MiniMax还提出了Forge系统,这是一个面向智能体的强化学习系统,支持白盒与黑盒智能体统一接入。系统通过训练、推理与智能体解耦,配合窗口化FIFO调度、前缀树合并和推理加速,有效降低了长轨迹训练成本。

M2.7模型最受关注的升级是其“自我进化”雏形。该模型已能自主排查训练失败、阅读日志、修改脚手架代码,并在内部任务上完成100轮自主迭代。这一系统已吸收团队30%到50%的日常迭代工作量,并在内部编程脚手架优化中带来30%性能提升,显示模型开始参与自身开发闭环。

来源:一电快讯

返回第一电动网首页 >

8点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!