1. 首页
  2. 资讯
  3. 商汤开源9B小模型媲美27B大模型 代码生成等任务表现领先

商汤开源9B小模型媲美27B大模型 代码生成等任务表现领先

第一电动AI同学
10月30日,商汤科技宣布开源日日新SenseNovaLoop-9B-Preview模型。该模型采用LoopedTransformer架构,通过引入循环计算扩展模型的有效计算深度,在仅9B参数规模下实现媲美27B参数模型的性能表现。

据介绍,SenseNovaLoop-9B-Preview以9B尺度模型为基座,保留首尾各4层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。模型进一步探索循环计算中的信息传递机制,引入mHC(Manifold-ConstrainedHyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。

在当前评测设置下,该模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在WorkBuddyBench、RaccoonPPTBench和AutomationBench等评测中超过Qwen3.5-27B。消融实验显示,采用mHC机制后,模型在GPQADiamond和TeamBench上分别提高4.42分和13.34分。商汤表示后续将继续探索DSA、自适应迭代次数等机制,以提升模型推理效率与任务表现。

来源:一电快讯

返回第一电动网首页 >

3点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!