11月15日消息,韩国电信运营商LGU+宣布将于明年进军AI Token业务,利用自主研发的Token优化技术帮助企业降低AI转型成本。随着LGU+的加入,韩国三大电信运营商将全部进入Token经济领域。
据介绍,LGU+的这项服务拥有三项核心技术:用于设计Agent任务执行路径的HarnessEngineering、根据问题类型分配模型的智能路由,以及为优化推理过程而采用异构半导体的芯片组合。该服务将减少AI Agent执行任务时不必要的重复搜索和验证,并根据任务难度匹配最合适的模型。同时,结合模型轻量化和推理技术,其自研端侧AI模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的95%以上。通过让小模型快速生成答案、再由大模型进行验证的技术,Token生成速度提升两倍以上。
在基础设施方面,LGU+采用芯片组合策略,将英伟达、AMD GPU与韩国本土企业FuriosaAI的神经网络处理器结合使用,分别处理问题分析和答案生成任务。通过将需要大规模计算的任务与对内存带宽要求较高的任务分开处理,降低基础设施成本。LGU+将同时采用与合作伙伴联合提供服务和自主建设两种方式,从明年开始全面进军B2B AI Token市场。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。