llmfit：一条命令，找出你的硬件能跑哪个大模型

llmfit：一条命令，找出你的硬件能跑哪个大模型

llmfit 在 GitHub 上已经拿到 28,655 Star 了。

这是一个 Rust 写的终端工具，专门干一件事——检测你的硬件配置，然后从几百个模型里筛出哪些能在你的机器上跑得好。

1、这玩意儿是干嘛的

本地跑大模型的人都碰到过这个问题：下了个模型，加载时发现显存不够，或者跑起来慢得没法用。

llmfit 解决的就是这个。它读取你的 CPU、内存、显卡信息，然后对每个模型做多维度打分——质量、速度、内存适配、上下文长度，最后告诉你哪些模型能跑，哪些跑得最好。

2、支持什么硬件

显卡方面覆盖比较全：

• NVIDIA：通过 nvidia-smi 探测，支持多卡聚合显存
• AMD：通过 rocm-smi 探测
• Intel Arc：独显走 sysfs，核显走 lspci
• Apple Silicon：统一内存架构，VRAM 等于系统内存
• 昇腾 NPU：通过 npu-smi 探测

模型数据库里有几百个模型，数据从 HuggingFace API 拉取，编译时直接嵌入二进制文件。内存需求按参数量和量化等级计算，从 Q8_0 到 Q2_K 逐级尝试，找到质量最高且能塞进你显存的那个。

MoE 架构的模型也有专门处理。比如 Mixtral 8x7B 总参数 46.7B，但每个 token 只激活约 12.9B，实际显存需求从 23.9GB 降到 6.6GB 左右。

3、怎么用

安装方式多样，各平台都有：

# Windowsscoopinstallllmfit# macOS / LinuxbrewinstallAlexsJones/llmfit/llmfit# Pythonuv toolinstall-Ullmfit# Dockerdockerrun ghcr.io/alexsjones/llmfit

直接运行llmfit启动交互式 TUI 界面。顶栏显示你的硬件信息，主体是模型列表，按综合得分排序。每行能看到分数、预估速度、推荐量化方案、内存占用和适用场景。

也支持纯命令行模式：

# 查看硬件信息llmfit system# 只看完美适配的模型，取前5个llmfit fit--perfect-n5# 按用途筛选推荐llmfit recommend--json--use-case coding--limit3

4、评分逻辑

每个模型在四个维度上打分，每项 0-100：

四个维度加权合成总分。权重按用途不同而变化：Chat 场景 Speed 权重 0.35，Reasoning 场景 Quality 权重 0.55。

速度估算基于显存带宽公式：(bandwidth_GB_s / model_size_GB) x efficiency_factor。内置约 80 张显卡的带宽查表，覆盖 NVIDIA、AMD 和 Apple Silicon。

5、社区排行榜

按b打开社区排行榜。数据来自 localmaxxing.com，展示的是真实用户在同款硬件上的实测数据——实际 tokens/sec、首 token 延迟、峰值显存占用。

这个功能的价值在于用实测数据弥补理论估算的偏差。内置 27 个硬件预设，从 RTX 5090 到 Apple M1 都有覆盖。

6、硬件模拟

按S打开硬件模拟弹窗，可以手动覆盖内存、显存和核心数，看不同配置下哪些模型能跑。适合买卡之前做评估，或者想看看升级后能多跑什么模型。

还提供 Plan 模式（按p），反向操作：选一个模型，工具会告诉你需要什么硬件才能跑起来。

7、适合谁

• 想在本地跑大模型但不确定自己硬件能撑什么的人
• 准备买显卡，想提前评估不同型号能跑哪些模型的开发者
• 在做多模型部署、需要为不同节点选配模型的场景

项目地址：AlexsJones/llmfit

己硬件能撑什么的人

• 准备买显卡，想提前评估不同型号能跑哪些模型的开发者
• 在做多模型部署、需要为不同节点选配模型的场景

项目地址：AlexsJones/llmfit