AI · Apache-2.0 · ★ 96,926
vllm-project/vllm
把大语言模型部署为推理服务,通过批处理和显存管理提高多请求并发时的吞吐量。
适合谁
适合需要在自己的机器上为应用或团队提供模型 API 的工程师。
如何开始
从快速入门启动一个受支持的小模型,再用示例客户端验证服务能返回结果。
项目动态
最近代码推送 2026-11-14
最近发布 v0.33.0rc3(2026-11-02)
AI · Apache-2.0 · ★ 96,926
把大语言模型部署为推理服务,通过批处理和显存管理提高多请求并发时的吞吐量。
适合需要在自己的机器上为应用或团队提供模型 API 的工程师。
从快速入门启动一个受支持的小模型,再用示例客户端验证服务能返回结果。
最近代码推送 2026-11-14
最近发布 v0.33.0rc3(2026-11-02)