本地离线知识库的妥协与收益 老电脑跑察元AI的可行边界办公场景里有大量的电脑配置不高i5 二代 三代加 8G 内存的家伙不少见。装个 ChatGPT 桌面没事但要在它上面跑本地离线知识库 加 本地大模型配置确实勉强。这一篇专门讲老电脑上跑察元AI 桌面单机版的现实选择给那些不想换电脑又想用 AI 的同事一份地图。先把硬件分级讲清楚。我把办公电脑大致分三档。第一档i7 加 16G 加 SSD能跑 7B 模型能做 RAG。第二档i5 加 8G 加机械硬盘纯 CPU 跑 3B 量化模型有点吃力RAG 入库慢。第三档更老的机器跑 LLM 已经不现实但仍能用云端模型加本地索引。老电脑的最大瓶颈在两件事上内存和磁盘 IO。chayuan-desktop 后端 sidecar 占用大约 400-600MB前端 webview 大约 200MB本地推理模型如果 7B 量化要再吃 5-6G。8G 机器跑本地推理本来就紧张。RAG 入库时嵌入计算 CPU 负载冲到接近满SSD 还能扛住机械盘上 chunk 写入和向量索引重建会慢得肉眼可见。妥协的做法。第一条模型走云不走本地。配一个国内的厂商 API比如 DeepSeek、智谱、文心一言按 token 计费单次对话成本几分钱到几毛钱。本地只跑察元智库 的 RAG 索引和检索模型推理外包出去。这种模式下老电脑能正常用 chayuan-desktop。第二条索引走 sqlite-vec 不走外部 Milvus。sqlite-vec 是嵌入式向量库整个 KB 数据就一个文件吃磁盘极少几万到几十万的 chunk 完全够用。Milvus、Chroma 这种外部向量库需要单独跑服务老电脑上同时跑外部库和 chayuan-desktop 容易让内存爆掉。本地离线知识库 在老电脑上的最佳搭配就是 sqlite-vec。第三条嵌入用 CPU 不用 GPU。bge-m3-onnx 是 ONNX 格式的嵌入模型跑在 CPU 上PyInstaller 打包时已经带了 ONNX Runtime。老电脑上 CPU 嵌入速度大概每秒几十到几百 chunk慢但能用。重排默认开启的轻量模型可以视情况关掉换速度。第四条文档分批入库。一次给察元AI 丢二十份 PDF老电脑容易喘。建议每次拖 3-5 份跑完再拖下一批减小峰值压力。CHAYUAN_ROOT 选 SSD 分区机械盘上索引写入慢得让人想砸键盘。第五条OCR 按需开启。RapidOCR 是 chayuan-desktop 内嵌的 OCR纯 CPU 也能跑但扫描件 PDF 入库会让 CPU 满载好几分钟。如果你的文档主要是文本层 PDF把 OCR 兜底关掉省下大量算力。第六条模型对抗 arena 这种功能在老电脑上慎用。多泳道并行调用云端模型当然没问题但同时跑本地推理就别多开了。老电脑的收益在哪里。第一私有文档不出域这是最核心的。第二模型钥匙集中管理避免在五六个客户端里都填一遍。第三引用气泡的回链体验给老电脑用户也是新东西。第四跟 chayuan-wps WPS AI 插件 共用同一份 KB在 WPS 文字里写报告时可以直接引用本机已索引的资料。我自己拿一台 i5-7400 加 8G 加 SATA SSD 的旧机做过测试。chayuan-desktop 启动 18 秒sidecar 起来后内存占用约 750MB拖一份 80 页的 PDF 入库用了 2 分 30 秒第一次 RAG 问答出答案约 4 秒后续对话稳定在 1-2 秒。模型用了 DeepSeek 云端 API。这个体验在老电脑上算合格。免费开源的AI软件 给老设备最大的价值是把使用门槛拉得很低不需要硬件升级也能用上正规的 AI 工作流。妥协是有的关键是知道哪些功能对应哪些代价。