vLLMvLLM 社区（原 UC Berkeley）
生产环境部署 LLM 的默认答案：PagedAttention 把 KV cache 碎片化问题解决掉，吞吐比朴素实现高一个量级。
推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态
vllm-metal
vLLM 的 Apple Silicon 社区硬件插件：Metal 后端对齐 vLLM 主接口，Mac 上用 vLLM 工作流（量化、OpenAI API、批处理）不用换框架。
- 项目形态
- 硬件后端（Apple Silicon）
- 许可
- Apache-2.0
- 发布
- 2025-12-12
- 收录
- 2026-10-03
它解决什么
vLLM 主干的硬件后端以 CUDA 为主，Apple Silicon 用户过去只能走 MLX 生态或 llama.cpp。 vllm-metal 作为 vLLM 官方的社区插件把推理路径搬到 Metal：同一套启动参数、 同一套量化选项、同一个 OpenAI 兼容 API，Mac 机房与 GPU 机房的运维脚本可以共用。
什么时候用它
- 团队已按 vLLM 建了部署流程，只是部分节点是 Mac Studio → 换插件不换流程。
- 评估 omlx 这类独立实现时，这里是「vLLM 正统」的对照基准。
上手难点
- Metal 后端成熟度低于 CUDA 主干，新算子支持有滞后，冷门模型结构可能缺内核。
- 插件、vLLM 主干、MLX 三方版本要对齐，升级节奏以插件 release 为准。