10月30日,商汤科技宣布开源日日新SenseNovaLoop-9B-Preview模型。该模型采用LoopedTransformer架构,通过引入循环计算扩展模型的有效计算深度,在仅9B参数规模下实现媲美27B参数模型的性能表现。
据介绍,SenseNovaLoop-9B-Preview以9B尺度模型为基座,保留首尾各4层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。模型进一步探索循环计算中的信息传递机制,引入mHC(Manifold-ConstrainedHyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。
在当前评测设置下,该模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在WorkBuddyBench、RaccoonPPTBench和AutomationBench等评测中超过Qwen3.5-27B。消融实验显示,采用mHC机制后,模型在GPQADiamond和TeamBench上分别提高4.42分和13.34分。商汤表示后续将继续探索DSA、自适应迭代次数等机制,以提升模型推理效率与任务表现。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。