近日,中国台湾地区AIIP企业Skymizer发布了其推理解码阶段加速器芯片HTX301。这款芯片旨在与GPU结合,加速推理结果输出,提升算力系统的利用率和整体能效。HTX301基于Skymizer的HyperThought软硬件协同设计平台,采用LISA语言指令集架构,专注于带宽密集型负载。
HTX301采用了一种可扩展的设计方案,支持SoC与PCIeAIC部署形态。在单卡上集成6颗HTX301芯片与合计384GB内存,能够满足700B高参数大模型本地运行的需求,同时功耗仅有240W。这一技术突破将为AI推理和数据处理带来更高的效率和更低的能耗,进一步推动AI技术的发展和应用。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。