11月6日,淘宝旗下MNN团队发布MNN-Pocket-0.3B模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下兼顾任务能力、响应速度与持续运行体验。团队将手机应用原生大模型落实为速度、内存、功耗、能力四个维度的设计目标:指定设备与上下文配置下解码吞吐超过200token/s,峰值内存低于300MB,典型推理负载下单次推理增量能耗不超过参考手机
电池能量的万分之一,并以在指定业务场景上达到8B级模型效果为目标。
MNN团队从零设计并训练了这个约3亿参数、重点支持中英文的轻量语言模型,将模型结构、词表、训练数据、预训练与后训练方法以及量化和推理引擎纳入协同优化。实测方面,模型在苹果iPhone18Pro上通过MNN推理引擎完全离线运行,平均解码速度约350token/s;INT4部署文件体积仅173MB。在iPadProM5、Metal后端、512token配置下,其峰值Metal驻留内存相对基线增加228MB,而同测试中Qwen3-0.6B部署体积为340MB、峰值内存增量427MB,相比之下部署体积减少约49%,峰值内存增量减少约47%。在iPadProM5/Metal同配置下,其Prefill吞吐达8721token/s,Decode吞吐达466token/s,约为Qwen3-0.6B的1.63倍;在骁龙8Gen5的CPU后端,Decode吞吐达251token/s。
架构选型上,团队构建了覆盖约50M至1.3B参数的稠密模型配置进行测试,约300M是同时满足峰值内存低于300MB、解码吞吐高于200token/s两项约束的最大候选规模,最终采用28层结构并结合分组查询注意力等配置。词表方面,基于Qwen3分词器将词表从约151K精简至64K,词条数量缩减约57%。能耗方面,在一加13(骁龙8至尊版)上以CPU4线程、输入1024输出128的基准负载测试,三轮折算平均增量能耗约2.7J/轮,以6000mAh电池容量计算,执行100次同等负载任务累计增量能耗约占电池总电量的0.3%。能力评测中,其英文IFEval得分73.20,中文指令遵循IFEval-zh得分74.59,在所列比较模型中均取得最高分;覆盖中英文知识、推理、数学、代码与指令遵循的11项评测平均得分50.00,高于报告列出的同规模模型及MiniCPM4-0.5B、Qwen3-0.6B等更大规模对比模型,其中中文数学MGSM-zh得分51.20,代码生成HumanEval得分53.66。团队同时开源了Base、SFT、通用指令、MNNW4A16QAT端侧部署、DFlash2投机解码草稿及Dec等多个版本,供研究者与开发者继续训练、评测和构建应用。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。