AI Booster
← 返回开源动态

AI · MIT · ★ 135,029

ggml-org/llama.cpp

在个人电脑或服务器上运行 GGUF 模型,支持量化模型,并可根据硬件使用 CPU 或 GPU。

适合谁

适合需要本地或离线推理,以及想在有限内存下试用模型的开发者。

如何开始

先选择适合设备内存的 GGUF 模型,用 README 的命令行示例跑通一次对话。

项目动态

最近代码推送 2026-11-14

最近发布 v1.0.0(2026-11-13)

前往 GitHub 查看代码和 README ↗
提示信息