6月30日，美团宣布推出新一代万亿参数大模型LongCat-2.0，并计划对外开源。该模型在五万卡国产算力集群上完成了全流程训练与推理，总参数达到1.6万亿，平均激活约48亿，动态范围在33亿到56亿之间。LongCat-2.0从零开始预训练，原生支持1M超长上下文，预训练数据规模超过30Ttokens，覆盖中文、英文、多语言和代码等多类数据。

LongCat-2.0在训练中面对硬件故障、通信异常、显存压力与数值波动等挑战，LongCat团队从稳定性、正确性和效率三方面攻克国产算力训练难题。在稳定性上，通过HCCL异常处理、弹性扩缩卡和自动故障恢复，将月均日故障率降低70%以上；在正确性上，通过自研设计确定性算子、Bitwise一致性验证和参数检测，保障训练结果的可靠；在效率上，通过流水线调度、显存优化和算子级控核，训练MFU提升1.5倍。最终，LongCat实现稳态日吞吐超过1Ttokens/day，完成万亿参数MoE模型在国产算力上的稳定训练。

在推理阶段，LongCat-2.0围绕模型、算子和框架进行协同优化，通过大规模专家并行聚合访存带宽，支撑万亿参数MoE模型的低延迟解码。同时，采用LongCatSparseAttention（LSA）稀疏注意力机制，在处理长文本时智能筛选关键信息，将计算量从平方级降至线性级。此外，LongCat-2.0通过零计算专家实现token级动态激活，简单token不消耗算力，复杂token自动获得更多计算资源。综合评测结果显示，LongCat-2.0在Code和GeneralAgent场景表现优异。