AI Booster
← 返回开源动态

AI · Apache-2.0 · ★ 96,926

vllm-project/vllm

把大语言模型部署为推理服务,通过批处理和显存管理提高多请求并发时的吞吐量。

适合谁

适合需要在自己的机器上为应用或团队提供模型 API 的工程师。

如何开始

从快速入门启动一个受支持的小模型,再用示例客户端验证服务能返回结果。

项目动态

最近代码推送 2026-11-14

最近发布 v0.33.0rc3(2026-11-02)

前往 GitHub 查看代码和 README ↗
提示信息