Qwen3-30B-A3B-Instruct-2507

LLM阿里通义千问2025-07-28

模型简介

30B-A3B 的 2507 指令版，上下文扩到 256K，本地部署的主流选择。

vLLMvLLM 社区（原 UC Berkeley）2023/06/20

生产环境部署 LLM 的默认答案：PagedAttention 把 KV cache 碎片化问题解决掉，吞吐比朴素实现高一个量级。

推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态

llama.cppggml-org（Georgi Gerganov 等）2023/03/10

纯 C/C++ 的推理实现，把大模型塞进 CPU、Mac 统一内存和各种边缘设备，GGUF 量化格式的事实标准。

推理框架 / 服务引擎GGUFCPU / Metal / CUDA / Vulkan1.5~8bit 量化无 Python 依赖