4月30日,苹果公司与加州大学圣迭戈分校合作,在最新论文《LaDiR:潜在扩散增强LLM文本推理》中提出了一种新的框架,旨在提升大语言模型(LLM)在文本推理任务中的表现。该框架名为LaDiR,它通过并行探索多条推理路径,并在最终输出时采用自回归方式,以提高结果的质量。
LaDiR框架并非一个全新的模型,而是一个可以叠加在现有模型之上的通用框架,它改变了模型处理问题的方式。该框架结合了扩散模型和自回归模型两种主流的生成范式,利用扩散模型在推理阶段进行并行处理,而在最终输出阶段则使用自回归模型以保持输出的连贯性。LaDiR的独特之处在于其并行推理机制,系统在推理时会同时启动多条独立的推理路径,每条路径从随机噪声开始,通过扩散过程逐步优化成连贯的推理步骤。此外,框架还引入了多样性鼓励机制,以确保每条路径能探索不同的解题思路,生成多样化的候选答案池。
研究团队在Meta的LLaMA3.18B和Qwen3-8B-Base模型上部署测试LaDiR框架,并在数学基准测试中取得了比现有方法更高的准确率,尤其在面对更困难的分布外任务时表现突出。在代码生成测试HumanEval中,LaDiR生成的代码更加可靠,难题上的表现明显优于标准微调方法。在谜题规划任务中,LaDiR能探索更广泛的解空间,找到正确解的概率高于所有通用基准模型。尽管如此,LaDiR在单次尝试准确率上仍略逊于专门针对特定任务优化的专用模型,显示出通用框架在追求广泛适用性的同时,在极致专精领域仍有提升空间。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。