DeepSeek-V4-Flash-0731

LLMDeepSeek 深度求索

模型简介

V4-Flash 的 7 月更新版,把 agent 与代码能力又推一档,仍是百万上下文里最便宜的开源选择。

参数量
304B (激活 13B)
上下文
1M
硬件
全量约 570G 显存;FP8 需 8 卡 H200
所属
DeepSeek
类型
纯文本
商用
可商用
许可
MIT
发布
2026-07-31
收录
2026-10-03

可用的部署方式

vLLMvLLM 社区(原 UC Berkeley)

生产环境部署 LLM 的默认答案:PagedAttention 把 KV cache 碎片化问题解决掉,吞吐比朴素实现高一个量级。

推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态
GitHub ↗
SGLangSGLang 社区(LMSYS / 上海交大等)

用 RadixAttention 做前缀缓存复用的推理引擎,多轮对话和批量同前缀请求的吞吐明显优于通用方案。

推理框架 / 服务引擎RadixAttention前缀缓存结构化输出多卡并行OpenAI 兼容 API
GitHub ↗