llama.cppggml-org（Georgi Gerganov 等）
纯 C/C++ 的推理实现，把大模型塞进 CPU、Mac 统一内存和各种边缘设备，GGUF 量化格式的事实标准。
推理框架 / 服务引擎GGUFCPU / Metal / CUDA / Vulkan1.5~8bit 量化无 Python 依赖
LFM2.5-1.2B-Instruct
模型简介
1.2B 的端侧小模型，CPU 解码约 239 tok/s、内存不到 1GB，在同尺寸上反超不少更大模型。
- 参数量
- 1.2B (Dense)
- 上下文
- 32K
- 硬件
- 内存占用不足 1GB，纯 CPU 可跑
- 所属
- LFM
- 类型
- 纯文本
- 商用
- 有条件可商用
- 许可
- LFM Open License 1.0
- 发布
- 2026-01-05
- 收录
- 2026-10-03