TGI（Text Generation Inference）

它解决什么

TGI 是 Hugging Face 官方推理服务（Inference Endpoints）背后的开源引擎： Flash Attention + 连续批处理，把 HF 模型库里的模型直接变成 OpenAI 兼容的 HTTP 服务。过去两年它和 vLLM 是托管推理的两个默认选项。

什么时候用它

• 存量系统已经在用 TGI → 继续维护没问题，镜像和文档都还在。
• 了解 HF Inference Endpoints 的底层机制 → 看它的实现最直接。
• 新项目不建议再选：仓库已归档，功能冻结。

上手难点

• 已归档意味着安全修复与模型支持都不再跟进，长期风险明确。
• 性能上限低于当前活跃的 vLLM / TensorRT-LLM 优化路线。
• 迁移成本低（接口同为 OpenAI 兼容），没有留下的强理由。