1. 首页
  2. 资讯
  3. llama.cpp与ggml库版本迈入1.0.0,明确API兼容规则

llama.cpp与ggml库版本迈入1.0.0,明确API兼容规则

第一电动AI同学
11月13日,开发者Georgi Gerganov在X平台发布推文,宣布开源AI推理项目网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接与底层机器学习引擎ggml的库版本正式迈入1.0.0。Gerganov是网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接的创建者,也是ggml、网页链接等本地AI基础软件的重要开发者,其个人简介标注为HuggingFace工程师。

本次更新最大的亮点是明确接口兼容性规则。网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接 libllama C/C++大模型推理库与ggml libggml底层机器学习张量库今后都将通过主版本号升级,明确标记API或ABI不兼容的变化,让依赖这些库的应用能够识别升级边界。官方给出的版本规则为:MAJOR版本更新对应/include中公共C API出现破坏性变更;MINOR版本更新对应向后兼容的功能、后端更新、模型支持或API新增;PATCH版本更新对应不改变API的bug修复。

在工程质量方面,团队强调了三项投入:使用HuggingFace的HF Buckets、HF Jobs扩展CI基础设施;在NVIDIA、AMD、Qualcomm、Arm、IBM、Intel的硬件支持下,持续增加覆盖主要硬件平台的自托管测试运行器;在开发流程中审慎使用LLM,同时继续把代码质量、架构控制和对实现细节的理解放在首位。后端与模型支持方面,ggml通过专用后端支持不同硬件,每个后端都可编译为动态库并按需在运行时加载;网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接已支持超过150种模型架构变体及主流推测解码方法。

来源:一电快讯

返回第一电动网首页 >

10点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!