vLLMvLLM 社区（原 UC Berkeley）
生产环境部署 LLM 的默认答案：PagedAttention 把 KV cache 碎片化问题解决掉，吞吐比朴素实现高一个量级。
推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态
DeepSeek-OCR
模型简介
用「视觉 token 压缩」读文档的开源 OCR 模型，把长文档塞进极少 token，单卡就能跑。
- 参数量
- 3.3B
- 硬件
- 单张 40G 卡可跑
- 所属
- DeepSeek
- 类型
- 纯文本 / 可识别图像
- 商用
- 可商用
- 许可
- MIT
- 发布
- 2025-10-17
- 收录
- 2026-10-03