whichllm

社区项目Andyyyy64

一条命令回答「我的机器上哪个本地 LLM 真正跑得动、跑得快」:用按硬件分档、按时间加权的新鲜基准排名,而不是看参数量。

项目形态
本地选型 / 基准工具
许可
MIT
发布
2026-03-04
收录
2026-10-03

它解决什么

「我这张 24G 显卡到底该下哪个模型」是本地部署的第一道坎,而模型卡上的参数很少。 whichllm 把社区实测的基准按硬件规格分档、按发布时间加权(旧分数会衰减), 输出一份「你的机器上能跑且最快」的候选清单,直接给出下载链接。

什么时候用它

  • 新买硬件、第一次配本地模型 → 用它做第一步选型,再进 omlx / ExLlamaV3 这类引擎。
  • 定期复核现有模型是否还值得留 → 衰减排名会自动把过气的大模型沉下去。

上手难点

  • 基准来自社区实测,个别硬件组合的样本可能偏少,极端配置要自己验。
  • 它只负责选型,不下权重、不管推理,后续工具链要另配。