10月20日,DeepSeek宣布开源内部大规模云服务推理框架DeepInfer,旨在提高模型推理效率、降低部署成本。该框架兼容英伟达GPU和华为昇腾950芯片,已用于DeepSeekV4.1Flash模型的线上服务。
据DeepSeek披露,DeepInfer框架在单集群日均处理155万亿Token,按谷时电价计算,每GPU小时收入约38美元。该框架的开源有望帮助开发者降低模型部署成本,提升推理效率。
同日,Anthropic推出个人AI助手ClaudeDuet。
来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。