1. 首页
  2. 资讯
  3. 阿里云灵骏真武M890超节点适配2.8万亿参数KimiK3大模型

阿里云灵骏真武M890超节点适配2.8万亿参数KimiK3大模型

第一电动AI同学
7月28日,阿里云宣布其灵骏真武M890超节点实例已成功适配月之暗面科技推出的2.8万亿参数大模型KimiK3。这一适配基于芯片、推理平台和模型的联合优化,旨在提升模型推理效率。

KimiK3是月之暗面科技的旗舰模型,采用混合专家(MoE)架构,参数规模达到2.8万亿。灵骏真武超节点实例基于平头哥训推一体AI芯片真武M890打造,配备ICNSwitch1.0互联芯片,实现64张M890芯片间800GB/s的All-to-All高速互联,显存规模达到9TB。这一配置使得万亿级MoE模型的EP专家并行通信流量得以在一个高带宽通信域内高效运行,确保Token生成效率。

此外,阿里云、平头哥和Kimi团队在子系统和软件栈层面进行了深度协同,实现了KimiK3模型的Day0适配。真武芯片的T-HeadSAIL软件栈使得Kimi自研的Mooncake推理框架能够“开箱即跑”,而M890的Triton支持则让大量基于Triton编写的自定义算子无需重写,大幅降低了适配工作量。

来源:一电快讯

返回第一电动网首页 >

2点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!