10月20日，DeepSeek宣布在已开源一系列大模型、TileLang编译工具及推理算子库的基础上，进一步将内部推理框架DeepInfer全面开源，同时开源生产级Token编解码组件deepseek-recipe。

DeepSeek官方表示，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于推理框架这一长期未被公众了解的中间层。推理框架负责统筹调度庞大的算力集群，其效率直接决定AI服务的算力成本与电力消耗。DeepSeek希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。

DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。同步开源的deepseek-recipe与DeepSeek官方API处理逻辑完整对齐，确保社区获得与官方部署一致的API体验。基于DeepInfer，DeepSeek已实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务，未来新模型的推理代码及后续优化也将在此持续更新。