whichllm
社区项目Andyyyy64
一条命令回答「我的机器上哪个本地 LLM 真正跑得动、跑得快」:用按硬件分档、按时间加权的新鲜基准排名,而不是看参数量。
- 项目形态
- 本地选型 / 基准工具
- 许可
- MIT
- 发布
- 2026-03-04
- 收录
- 2026-10-03
它解决什么
「我这张 24G 显卡到底该下哪个模型」是本地部署的第一道坎,而模型卡上的参数很少。
whichllm 把社区实测的基准按硬件规格分档、按发布时间加权(旧分数会衰减),
输出一份「你的机器上能跑且最快」的候选清单,直接给出下载链接。
什么时候用它
- 新买硬件、第一次配本地模型 → 用它做第一步选型,再进 omlx / ExLlamaV3 这类引擎。
- 定期复核现有模型是否还值得留 → 衰减排名会自动把过气的大模型沉下去。
上手难点
- 基准来自社区实测,个别硬件组合的样本可能偏少,极端配置要自己验。
- 它只负责选型,不下权重、不管推理,后续工具链要另配。