7月10日,科技媒体The Information报道,苹果公司正在与PrismML初创公司进行接触,探讨在iPhone上直接运行更大规模AI模型的可能性。PrismML是加州理工学院衍生出的AI初创公司,其核心技术为原生1-bit模型压缩技术,该技术能够将模型体积压缩至全精度版本的1/14左右,同时内存占用降低超过90%。
PrismML的1-bit模型压缩技术通过仅使用{-1,+1}的权重表示,配合分组缩放因子,实现非传统量化。该公司声称,在保持接近FP16模型精度的同时,推理速度提升最高可达8倍,能耗降低75%-80%。PrismML已经成功精简阿里巴巴开源的大型语言模型Qwen3.6(拥有27B参数),并使其在iPhone 17 Pro上完整运行。苹果公司对PrismML的量化能力表示出浓厚兴趣,希望借此增强iPhone上本地AI模型的推理性能。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。