InternVL3.5-38BLLM上海 AI Lab2025-08-29模型简介InternVL3.5 的 38B 档,GUI 与文档理解做得扎实,Apache-2.0 可商用。HuggingFace ↗参数量38.4B上下文128K所属InternLM类型纯文本 / 可识别图像商用可商用许可Apache-2.0发布2025-08-29收录2026-10-03可用的部署方式vLLMvLLM 社区(原 UC Berkeley)2023/06/20生产环境部署 LLM 的默认答案:PagedAttention 把 KV cache 碎片化问题解决掉,吞吐比朴素实现高一个量级。推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态GitHub ↗SGLangSGLang 社区(LMSYS / 上海交大等)2024/01/08用 RadixAttention 做前缀缓存复用的推理引擎,多轮对话和批量同前缀请求的吞吐明显优于通用方案。推理框架 / 服务引擎RadixAttention前缀缓存结构化输出多卡并行OpenAI 兼容 APIGitHub ↗
vLLMvLLM 社区(原 UC Berkeley)2023/06/20生产环境部署 LLM 的默认答案:PagedAttention 把 KV cache 碎片化问题解决掉,吞吐比朴素实现高一个量级。推理框架 / 服务引擎PagedAttention张量并行FP8/AWQ/GPTQOpenAI 兼容 API多模态GitHub ↗
SGLangSGLang 社区(LMSYS / 上海交大等)2024/01/08用 RadixAttention 做前缀缓存复用的推理引擎,多轮对话和批量同前缀请求的吞吐明显优于通用方案。推理框架 / 服务引擎RadixAttention前缀缓存结构化输出多卡并行OpenAI 兼容 APIGitHub ↗