Qwen3-VL-4B-Thinking

LLM阿里通义千问2025-10-11

模型简介

Qwen3-VL 4B 的思考版，小尺寸上也保留视觉推理链。

llama.cppggml-org（Georgi Gerganov 等）2023/03/10

纯 C/C++ 的推理实现，把大模型塞进 CPU、Mac 统一内存和各种边缘设备，GGUF 量化格式的事实标准。

推理框架 / 服务引擎GGUFCPU / Metal / CUDA / Vulkan1.5~8bit 量化无 Python 依赖

OllamaOllama2023/07/24

把"下载模型 + 量化 + 起服务"压成一条命令的工具，底层基于 llama.cpp，适合快速验证和个人本地使用。

一体化本地运行工具一行命令拉模型Modelfile 自定义OpenAI 兼容 APIGGUF跨平台