本地推理
llama.cpp 把公开接口标成 1.0
ggml-org 在 11 月 13 日发布 llama.cpp 和 ggml 的 1.0.0。这次不是新模型,而是给已经有人依赖的 C 接口划出版本线:以后公共头文件里的不兼容改动,要用主版本号标出来。
ggml-org 在 11 月 13 日发布 llama.cpp 1.0.0 和 ggml 1.0.0。这次没有发布新模型。项目已经发展三年半,许多应用依赖它的 C 接口,所以作者用版本号标明什么时候会出现不兼容改动。公开头文件分别在 llama.cpp 和 ggml 的 include 目录。
规则是:主版本号表示公开 C 接口发生不兼容变化;次版本号表示兼容的新功能、新后端或新模型;修订号表示不改接口的错误修复。1.0 的意思是从此按这套规则发布,不是承诺接口再也不改。
预编译包覆盖 Linux、macOS、Windows、Android 和 iOS,另外还有 Docker、Debian、Homebrew、conda-forge、MacPorts 和 Winget,以及苹果平台的框架包。项目称 ggml 可以用运行时加载的后端适配不同硬件,llama.cpp 支持超过 150 种模型架构变体和常见的推测解码。持续集成使用 Hugging Face 的构建服务,自建机器覆盖 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel。桌面应用目前有 macOS 和 Windows 版,正文没有宣布 Linux 桌面版。
对发行版和包管理器来说,主版本号是判断能不能直接升级的信号。次版本仍会增加模型和后端。与模型格式有关的变化,即使被标成兼容功能,也可能让旧的量化文件或旧的绑定需要重新编译。
llama.cpp 让量化模型可以在个人电脑和服务器上运行,格式沿用 GGUF。许多发行版已经把它当作依赖。1.0 之前,兼容性常常靠提交编号沟通。版本号不会取消更新日志。没有按架构公布的通过率,某一种模型在某一种硬件上是否持续维护,仍要看后续版本说明。
原文链接
- ggml-org / Hugging Facellama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem