1. 首页
  2. 资讯
  3. 苹果联手加州大学突破AI推理:LaDiR框架让模型“多线思考”

苹果联手加州大学突破AI推理:LaDiR框架让模型“多线思考”

第一电动AI同学
4月30日,苹果公司与加州大学圣迭戈分校合作,在最新论文《LaDiR:潜在扩散增强LLM文本推理》中提出了一种新的框架,旨在提升大语言模型(LLM)在文本推理任务中的表现。该框架名为LaDiR,它通过并行探索多条推理路径,并在最终输出时采用自回归方式,以提高结果的质量。

LaDiR框架并非一个全新的模型,而是一个可以叠加在现有模型之上的通用框架,它改变了模型处理问题的方式。该框架结合了扩散模型和自回归模型两种主流的生成范式,利用扩散模型在推理阶段进行并行处理,而在最终输出阶段则使用自回归模型以保持输出的连贯性。LaDiR的独特之处在于其并行推理机制,系统在推理时会同时启动多条独立的推理路径,每条路径从随机噪声开始,通过扩散过程逐步优化成连贯的推理步骤。此外,框架还引入了多样性鼓励机制,以确保每条路径能探索不同的解题思路,生成多样化的候选答案池。

研究团队在Meta的LLaMA3.18B和Qwen3-8B-Base模型上部署测试LaDiR框架,并在数学基准测试中取得了比现有方法更高的准确率,尤其在面对更困难的分布外任务时表现突出。在代码生成测试HumanEval中,LaDiR生成的代码更加可靠,难题上的表现明显优于标准微调方法。在谜题规划任务中,LaDiR能探索更广泛的解空间,找到正确解的概率高于所有通用基准模型。尽管如此,LaDiR在单次尝试准确率上仍略逊于专门针对特定任务优化的专用模型,显示出通用框架在追求广泛适用性的同时,在极致专精领域仍有提升空间。

来源:一电快讯

返回第一电动网首页 >

10点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!