vLLMvLLM 社区（原 UC Berkeley）
生产环境部署 LLM 的默认答案：PagedAttention 把 KV cache 碎片化问题解决掉，吞吐比朴素实现高一个量级。
推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态
NVIDIA-Nemotron-3-Super-120B-A12B
模型简介
LatentMoE 架构的 120B 激活 12B，原生 NVFP4 预训练，单台 8 卡机就能跑百万上下文。
- 参数量
- 124B (激活 12B)
- 上下文
- 1M
- 所属
- Nemotron
- 类型
- 纯文本
- 商用
- 可商用
- 许可
- NVIDIA Open Model License
- 发布
- 2026-03-11
- 收录
- 2026-10-03