ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

小模型号池驱动的数据清洗

2026/8/12 15:05:14 拓冰建站 浏览量
小模型号池驱动的数据清洗 2026/7/5核心思路不用昂贵的大模型做数据清洗改用多个廉价小模型 API 组成资源池轮询调度 多路并发榨干所有可用 API key 的吞吐量分层调度父代理派子代理子代理直调 API技术栈组件作用CPACloud Proxy APIAPI 网关多 provider 轮询 冷却 fallbackopencode Task 工具父代理派生子代理天然支持并发子代理Sub-agent每个处理 10 个 job直接调 CPAPROMPT.md任务规则文件子代理自我读取架构CPA 配置 routing.strategy: round-robin # 轮询分配 session-affinity: false # 关粘性会话 可用 provider 池已启用 agnes-2.0-flash 小水管user (deepseek-v4-flash 等) 小水管claude (deepseek-v4-flash) yjjhwjw (agnes-2.0-flash) SenseNova (deepseek-v4-flash)工作流程pending/ 按 10 个一分 → batch_001 ~ batch_422 ↓ 父代理 A前向 batch_001→211 父代理 B反向 batch_422→212 ↓ 循环派生子代理 ↓ 循环派生子代理 10 个子代理并行处理 10 个 batch 10 个子代理并行处理 10 个 batch ↓ 每子代理调 CPA ↓ 每子代理调 CPA CPA 轮询分配到不同 provider CPA 轮询分配到不同 provider ↓ ↓ 写 .decision.json 到原文件夹 写 .decision.json 到原文件夹关键设计每 10 个 job 一个文件夹最小工作单元子代理零冲突两路对进前向 反向避免文件锁竞争自我发现子代理只需读 PROMPT.md自动知道做什么CPA 轮询多个 provider 自动负载均衡429 自动冷却换下一个不移动文件原地写 .decision.json零搬运开销适用场景大量数据需要逐条做 AI 判断切分、分类、标注等多个廉价 API 可用但单个有限速需要高并发吞吐但预算有限实际效果4355 条 job分批 422 个文件夹20 个子代理并发2 个父代理 × 10 个子代理预计 2~3 小时完成全部清洗