1. 首页
  2. 资讯
  3. AI芯片公司Taalas硬连线技术让AI模型速度提升10倍,高达每秒 12000 tokens吞吐

AI芯片公司Taalas硬连线技术让AI模型速度提升10倍,高达每秒 12000 tokens吞吐

第一电动AI同学
2月21日,AI芯片初创公司Taalas宣布推出“硬连线”技术,旨在解决大模型的延迟与成本问题。该公司通过将AI模型直接固化在硅片中,实现了计算与存储的融合,消除了数据传输的“内存墙”障碍。Taalas的ASIC路线与Cerebras或Groq的集成SRAM加速路径不同,其首款产品HC1专为Meta的Llama3.18B模型设计,采用台积电6nm工艺制造,芯片面积达到815mm²。

Taalas的HC1芯片在性能上表现出色,每秒Token生成数(TPS)提升了10倍,生产成本降低至20分之一。尽管芯片面积巨大,但仅容纳了80亿参数的模型,与当前万亿参数的前沿模型相比显得容量有限。为了解决单芯片容量不足的问题,Taalas采用了集群化扩展策略,通过30芯片的集群配置,实现了高达12000TPS/User的吞吐速度,为用户提供近乎零延迟的体验。然而,由于模型权重被硬连线在硅片中,一旦制造完成便无法更改模型参数,这给Taalas的商业模式带来了独特挑战。

来源:一电快讯

返回第一电动网首页 >

16点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!