AI 技能说明书 · 第4篇工具怎么选用人话讲透建议收藏做 RAG、语义搜索、推荐都绕不开Embedding嵌入向量和向量数据库。很多人卡在模型选 1536 还是 1024 维Milvus 和 Pinecone 差在哪为什么搜出来不相关这篇专讲地基层不重复 RAG 业务故事见第 2 篇。一、一句话搞懂Embedding 把文本变成「语义坐标」向量库负责存坐标、按相似度快搜。「苹果」和「iPhone」在向量空间里距离近「苹果」和「香蕉」也近但簇不同——模型用海量语料学过这种关系。检索时问题向量和文档块向量做余弦相似度取最近的 K 个就是「语义搜文」。二、深度拆解到底差在哪### 1. Embedding 模型怎么选OpenAI text-embedding-3-small1536可降 | 均衡按 token 计费text-embedding-3-large3072 | 更准贵BGE / M3E 等开源768–1024 | 可私有化中英常见原则PoC 用 small中文为主测国产/多语同一库内禁止混用不同模型维度/空间不一致。### 2. 向量库在干什么存储百万十亿级向量 可选 metadata部门、日期、doc_id索引HNSW、IVF 等在recall 与 latency间 trade-off过滤where departmentsales 再 ANN企业必备### 3. Milvus vs Pinecone典型选型部署自建/K8s/Zilliz Cloud | 全托管 SaaS数据主权可完全内网 | 在 Pinecone 云运维要懂集群 | 几乎零运维成本机器成本 | 按向量数查询量适合金融/政务/大数据量 | 创业团队快速验证### 4. 搜不准的 4 个技术原因1.Chunk 质量差占一半2.只用向量不用关键词→ 专有名词用HybridBM25 dense3.Embedding 与查询语言不一致英问中 doc4.未 normalize / 距离度量选错一般 cosine三、适合谁 / 不适合谁适合要做语义搜索/RAG 的开发、架构师评估内网部署 vs SaaS的技术负责人想搞懂面试题「HNSW 是什么」的人。不适合完全零代码且不愿学概念——可直接 Dify 黑盒文档量 100 页且只 10 个问题——暴力 fine chunk 关键词可能更省事。典型决策1.PoC 100 万向量→ Pinecone Serverless 或 Zilliz Cloud 免费档2.生产内网→ Milvus MinIO存原始文件 自研 ingest3.已有 Elasticsearch→ 8.x _dense_vector hybrid少引入新组件4.预算紧→ pgvectorPostgres 插件量小够用四、核心对比收藏这张成本粗算示例100 万 chunk × 500 token × embed 单价 向量库存储 每日 1 万 query→ PoC often几百 USD/月量级要先算清楚再立项。Embedding API文本→向量 | 不做权限向量库存搜 | 不做复杂 NLPLLM读片段写答案 | 不做全库扫描五、和别的概念 / 工具怎么分Embedding vs 关键词搜索「离职流程」和「辞职手续」向量近SKU 编号 keyword 更准 →混合向量库 vs 传统 DBMySQL B-tree 不做高维 ANNLangChain 在这里的角色统一 embed_query / similarity_search不是替代品六、真实工作流可以直接抄本地最小闭环Python 伪流程1. 文档 list → chunk → 调 OpenAI Embedding → 得到 [(id, vector, meta)]2. 写入 Pinecone indexupsertmetadata 带 source_page3. 用户 query → embed → query(top_k5, include_metadataTrue)4. 拼接 top chunks → ChatGPT仅根据 context 回答附 [source_page]5. 用 10 条标注问题算MRR5上线前检查清单[ ] 同一 embedding 模型[ ] metadata 过滤测过[ ] 空结果 / 低分阈值拒答[ ] 增量更新脚本新 doc 只 upsert 新 id七、常见误区与踩坑❌维度越高越好高维 小数据可能过拟合噪声且占存储❌向量库备份还要存原文与版本向量可重建❌一次 embed 永久有效换模型要全量 re-embed❌Pinecone 一定比 Milvus 简单大规模、多租户仍要架构设计⚠️PIIembed 前脱敏metadata 别存身份证八、小编说Embedding 和向量库不性感但决定 RAG 上限。先 small 模型 10 万向量 PoC用 MRR 说话再谈 Milvus 集群。你们更倾向 SaaS 还是内网自建
AI 技能说明书 · 第4篇工具怎么选用人话讲透建议收藏做 RAG、语义搜索、推荐都绕不开Embedding嵌入向量和向量数据库。很多人卡在模型选 1536 还是 1024 维Milvus 和 Pinecone 差在哪为什么搜出来不相关这篇专讲地基层不重复 RAG 业务故事见第 2 篇。一、一句话搞懂Embedding 把文本变成「语义坐标」向量库负责存坐标、按相似度快搜。「苹果」和「iPhone」在向量空间里距离近「苹果」和「香蕉」也近但簇不同——模型用海量语料学过这种关系。检索时问题向量和文档块向量做余弦相似度取最近的 K 个就是「语义搜文」。二、深度拆解到底差在哪### 1. Embedding 模型怎么选OpenAI text-embedding-3-small1536可降 | 均衡按 token 计费text-embedding-3-large3072 | 更准贵BGE / M3E 等开源768–1024 | 可私有化中英常见原则PoC 用 small中文为主测国产/多语同一库内禁止混用不同模型维度/空间不一致。### 2. 向量库在干什么存储百万十亿级向量 可选 metadata部门、日期、doc_id索引HNSW、IVF 等在recall 与 latency间 trade-off过滤where departmentsales 再 ANN企业必备### 3. Milvus vs Pinecone典型选型部署自建/K8s/Zilliz Cloud | 全托管 SaaS数据主权可完全内网 | 在 Pinecone 云运维要懂集群 | 几乎零运维成本机器成本 | 按向量数查询量适合金融/政务/大数据量 | 创业团队快速验证### 4. 搜不准的 4 个技术原因1.Chunk 质量差占一半2.只用向量不用关键词→ 专有名词用HybridBM25 dense3.Embedding 与查询语言不一致英问中 doc4.未 normalize / 距离度量选错一般 cosine三、适合谁 / 不适合谁适合要做语义搜索/RAG 的开发、架构师评估内网部署 vs SaaS的技术负责人想搞懂面试题「HNSW 是什么」的人。不适合完全零代码且不愿学概念——可直接 Dify 黑盒文档量 100 页且只 10 个问题——暴力 fine chunk 关键词可能更省事。典型决策1.PoC 100 万向量→ Pinecone Serverless 或 Zilliz Cloud 免费档2.生产内网→ Milvus MinIO存原始文件 自研 ingest3.已有 Elasticsearch→ 8.x _dense_vector hybrid少引入新组件4.预算紧→ pgvectorPostgres 插件量小够用四、核心对比收藏这张成本粗算示例100 万 chunk × 500 token × embed 单价 向量库存储 每日 1 万 query→ PoC often几百 USD/月量级要先算清楚再立项。Embedding API文本→向量 | 不做权限向量库存搜 | 不做复杂 NLPLLM读片段写答案 | 不做全库扫描五、和别的概念 / 工具怎么分Embedding vs 关键词搜索「离职流程」和「辞职手续」向量近SKU 编号 keyword 更准 →混合向量库 vs 传统 DBMySQL B-tree 不做高维 ANNLangChain 在这里的角色统一 embed_query / similarity_search不是替代品六、真实工作流可以直接抄本地最小闭环Python 伪流程1. 文档 list → chunk → 调 OpenAI Embedding → 得到 [(id, vector, meta)]2. 写入 Pinecone indexupsertmetadata 带 source_page3. 用户 query → embed → query(top_k5, include_metadataTrue)4. 拼接 top chunks → ChatGPT仅根据 context 回答附 [source_page]5. 用 10 条标注问题算MRR5上线前检查清单[ ] 同一 embedding 模型[ ] metadata 过滤测过[ ] 空结果 / 低分阈值拒答[ ] 增量更新脚本新 doc 只 upsert 新 id七、常见误区与踩坑❌维度越高越好高维 小数据可能过拟合噪声且占存储❌向量库备份还要存原文与版本向量可重建❌一次 embed 永久有效换模型要全量 re-embed❌Pinecone 一定比 Milvus 简单大规模、多租户仍要架构设计⚠️PIIembed 前脱敏metadata 别存身份证八、小编说Embedding 和向量库不性感但决定 RAG 上限。先 small 模型 10 万向量 PoC用 MRR 说话再谈 Milvus 集群。你们更倾向 SaaS 还是内网自建
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
