11月14日消息，在微软任职逾14年的AI科学家、AI Frontiers实验室联合创始人约翰·兰福德已离职。兰福德是机器学习领域资深研究者，长期从事机器学习与学习理论研究，其重要贡献是推进Contextual Bandits，与合作者在探索算法、学习问题归约及离线策略评估方面做出代表性工作。

兰福德所在的约50人团队于今年9月发生调整，被并入穆斯塔法·苏莱曼领导的Microsoft AI部门，但在研究路线、创新落地渠道和团队重组方式上存在较大分歧。兰福德表示，离开的关键原因是研究成果看不到实际应用的路径，创新想法甚至难以获得认真考虑。他承认扩大模型规模能够改善预测效果且回报更易预期，但反对把扩大规模当成唯一核心，认为这会让工作重心过度集中在数据上，挤压探索新方法的空间。

争议主要涉及兰福德于今年8月发布的全带宽Transformer研究。该研究认为模型生成下一个词元时，不只是利用此前输出的词元，还会重新利用内部的中间状态，减少信息浪费。在论文实验中，10亿参数模型能够以更少训练数据，接近或达到使用约1.5倍数据训练的常规模型表现，每个词元增加的计算开销则很小。字节跳动Seed团队在今年10月25日发布采用类似思路的Recycler研究，该方法以类似方式重用隐藏状态，且在推理和数学方面能超越参数多两到三倍的模型。