7月28日,阿里云宣布其灵骏真武M890超节点实例已成功适配月之暗面科技推出的2.8万亿参数大模型KimiK3。这一适配基于芯片、推理平台和模型的联合优化,旨在提升模型推理效率。
KimiK3是月之暗面科技的旗舰模型,采用混合专家(MoE)架构,参数规模达到2.8万亿。灵骏真武超节点实例基于平头哥训推一体AI芯片真武M890打造,配备ICNSwitch1.0互联芯片,实现64张M890芯片间800GB/s的All-to-All高速互联,显存规模达到9TB。这一配置使得万亿级MoE模型的EP专家并行通信流量得以在一个高带宽通信域内高效运行,确保Token生成效率。
此外,阿里云、平头哥和Kimi团队在子系统和软件栈层面进行了深度协同,实现了KimiK3模型的Day0适配。真武芯片的T-HeadSAIL软件栈使得Kimi自研的Mooncake推理框架能够“开箱即跑”,而M890的Triton支持则让大量基于Triton编写的自定义算子无需重写,大幅降低了适配工作量。
来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。