11月6日,摩尔线程官方宣布,基于AI训推一体智算卡MTT S5000及MUSA软件栈,已完成Kimi-K3.1Pro模型的Day-0适配,打通模型加载、服务启动及文本、图片基础推理链路。
本月4日,月之暗面正式公布KimiK3.1Pro完整模型权重。在Arena运营的AgentArena智能体排行榜中,KimiK3.1Pro(Max)位列开放权重模型第一、全部参评模型第13位,并在工作、编程与聊天三个类别中均居开放模型首位。KimiK3.1Pro是K3.1系列首款模型,也是迄今能力最强的3万亿级参数模型,支持100万上下文。经过大规模后训练和强化学习,模型在代码、3D创作、金融研究、知识问答及长程Agent任务等方面均全面提升;在代码与Agent基准测试中,其表现已达到或接近顶尖闭源模型水平,Terminal-Bench4.0得分65.7%,KimiCodeBench3.0Long-horizon得分61.2%,高于K3的55.95%。
围绕KimiK3.1Pro的模型架构与计算特性,摩尔线程通过MUSA软件栈完成了关键推理路径迁移与适配,支持模型在MTT S5000上稳定运行。团队基于SGLang-MUSA承接上游模型实现,并通过MATE算子库、Triton-MUSA、TileLang-MUSA及MTCC编译器,完成新架构关键计算路径的迁移与接入。针对模型采用的稀疏注意力DSA,MUSA软件栈完成索引选择、KV缓存布局及Prefill、Decode计算路径的适配,接入MATE稀疏注意力算子,并与KDA状态管理、跨层残差及视觉Attention共同组成完整执行链路。面对模型采用的MXFP4专家权重,团队通过在线转换与跨层复用FP8工作区的方式执行专家计算,无需预先生成完整的离线FP8权重,为超大模型快速部署提供支持。


来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。