11月13日,开发者Georgi Gerganov在X平台发布推文,宣布开源AI推理项目
网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接与底层机器学习引擎ggml的库版本正式迈入1.0.0。Gerganov是
网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接的创建者,也是ggml、
网页链接等本地AI基础软件的重要开发者,其个人简介标注为HuggingFace工程师。
本次更新最大的亮点是明确接口兼容性规则。
网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接 libllama C/C++大模型推理库与ggml libggml底层机器学习张量库今后都将通过主版本号升级,明确标记API或ABI不兼容的变化,让依赖这些库的应用能够识别升级边界。官方给出的版本规则为:MAJOR版本更新对应/include中公共C API出现破坏性变更;MINOR版本更新对应向后兼容的功能、后端更新、模型支持或API新增;PATCH版本更新对应不改变API的bug修复。
在工程质量方面,团队强调了三项投入:使用HuggingFace的HF Buckets、HF Jobs扩展CI基础设施;在NVIDIA、AMD、Qualcomm、Arm、IBM、Intel的硬件支持下,持续增加覆盖主要硬件平台的自托管测试运行器;在开发流程中审慎使用LLM,同时继续把代码质量、架构控制和对实现细节的理解放在首位。后端与模型支持方面,ggml通过专用后端支持不同硬件,每个后端都可编译为动态库并按需在运行时加载;
网页链接' target='_blank' style='color:#FB953A'>网页链接' target='_blank' style='color:#FB953A'>网页链接已支持超过150种模型架构变体及主流推测解码方法。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。