Spark X2.5-4B

LLM科大讯飞2026-09-01

模型简介

端侧第一个原生支持 1M 上下文的 4B 模型，全国产算力训练，本地办公与机器人场景可直接部署。

vLLMvLLM 社区（原 UC Berkeley）2023/06/20

生产环境部署 LLM 的默认答案：PagedAttention 把 KV cache 碎片化问题解决掉，吞吐比朴素实现高一个量级。

推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态

SGLangSGLang 社区（LMSYS / 上海交大等）2024/01/08

用 RadixAttention 做前缀缓存复用的推理引擎，多轮对话和批量同前缀请求的吞吐明显优于通用方案。

推理框架 / 服务引擎RadixAttention前缀缓存结构化输出多卡并行OpenAI 兼容 API

llama.cppggml-org（Georgi Gerganov 等）2023/03/10

纯 C/C++ 的推理实现，把大模型塞进 CPU、Mac 统一内存和各种边缘设备，GGUF 量化格式的事实标准。

推理框架 / 服务引擎GGUFCPU / Metal / CUDA / Vulkan1.5~8bit 量化无 Python 依赖

OllamaOllama2023/07/24

把"下载模型 + 量化 + 起服务"压成一条命令的工具，底层基于 llama.cpp，适合快速验证和个人本地使用。

一体化本地运行工具一行命令拉模型Modelfile 自定义OpenAI 兼容 APIGGUF跨平台