AI · MIT · ★ 135,029
ggml-org/llama.cpp
在个人电脑或服务器上运行 GGUF 模型,支持量化模型,并可根据硬件使用 CPU 或 GPU。
适合谁
适合需要本地或离线推理,以及想在有限内存下试用模型的开发者。
如何开始
先选择适合设备内存的 GGUF 模型,用 README 的命令行示例跑通一次对话。
项目动态
最近代码推送 2026-11-14
最近发布 v1.0.0(2026-11-13)
AI · MIT · ★ 135,029
在个人电脑或服务器上运行 GGUF 模型,支持量化模型,并可根据硬件使用 CPU 或 GPU。
适合需要本地或离线推理,以及想在有限内存下试用模型的开发者。
先选择适合设备内存的 GGUF 模型,用 README 的命令行示例跑通一次对话。
最近代码推送 2026-11-14
最近发布 v1.0.0(2026-11-13)