一句话版别人让 agent更会说话我想让 agent更会做事——而且这种能力长在你自己的电脑上。但下面这篇不是软文前半段是我怎么用自己产品的编排层把自己拆成小模型会更强的想法打掉的过程含负结果后半段才是我最后敢留下的、能被验证的东西。0. 先说结论不想看过程的看这 5 条“拆成几个小模型就会更强”——我自己的 4 次实验全部没通过判据跑之前冻结。最差的拆法 −6.43pp25 次里 24 次输。但拆不是负资产换对拆法从 −6.4pp 变成 ≈0当拆法与数据的真实结构对齐时还能小赚最高 7.0pp。决定生死的不是拆不拆是怎么拆 怎么合按真实信息源拆 按真实子任务拆 ≫ 按特征随意切块。于是我删掉了所有精度承诺只留结构性、可验证的东西本地训练 本地推理、判定层把关、导出即带走、数据不出门。现状我也写清楚了拆解与编排已跑通、有测试界面接线与推理运行时在做还没有真实用户跑过完整闭环。1. 起因判断这件事到底该租还是造我手上有一类需求同一类判断要反复做。比如一条产线上这张图有没有缺陷、一份表格里这行是不是异常。用云上大模型做第一天很爽写个提示词就能跑。但跑到第 N 天问题全来了按 token 计费用得越多越贵断网 / 限流 / 涨价你只能等数据得传出去你的判断标准什么叫缺陷沉淀在别人的服务里不在你手里。那能不能造你其实已经有原料了你的数据、你的判断、一台哪怕是旧电脑。我在做的东西就是这条路把一个任务拆成几小块每块在本地训一个小模型让它们在本机协作干完训完怎么用都不再按调用付费。付费方式也简单——买的是训练器训练按轮次低额计量推理不再收费。听着很顺对吧问题就出在这句拆成几个小模型——它太顺了顺到我自己都没验证过。2. 我原来的想法以及它为什么听起来很对想法很朴素一个真实任务 ├─ 感知专模 画面/信号 → 有没有 ├─ 判断专模 状态 → 该不该 ├─ 决策专模 打分 → 选哪个 └─ 执行专模 动作 → 怎么做 ↓ 串联前级输出 后级输入 ↓ 并联多路投票 一个结论背书看起来很足ensemble、stacking、cascade、MoE、蒸馏全是成熟做法AutoGluon 之类甚至自带 stacking。拆了再合不是天然更强吗为了不靠感觉我给自己的编排层写了实验。编排层本身就支持串联前级输出接后级、并联投票、以及OOFout-of-fold折外预测防泄漏——每条样本的预测都来自没见过它的那一折而不是拿训练时见过的数据算分。3. 判据先冻结再跑判据跑之前定死跑完不许改通过 Δ 的 95% CI 下界 ≥2pp且≥4/5 任务族同向且每个成员单打都过平凡基线不成立 CI 下界 ≤ 0“没输不等于赢了”或同向族 ≤3/5。设置项取值任务族5 个linear / xor / radial3 / 20% 标签噪声 / sparse规模5 个种子 × n2000 ——每个任务族 × 种子组合各自独立生成 2000 条样本共 25 组表里的池化 Δ 是这 25 组的合并统计划分按生成簇划分训练 3 簇 / 验证 1 簇 / 测试 1 簇避免行随机划分带来的近邻泄漏成员同一任务的 4 个特征视图左半 / 右半 / 混合 / 全量后端零依赖兜底后端朴素贝叶斯速度优先 preset对照同特征、同预算的单个模型最强单模在验证集上择优25 组全报包括负的。4. 结果四种拆法全部没过门槛拆法池化 Δ95% CI配对 bootstrap 10k同向族判定同任务特征视图 投票−6.43pp[−8.13, −4.75]0/5不成立同任务特征视图 OOF 串联−0.59pp[−1.30, −0.10]—不成立层级串联gate → expert−1.58pp[−4.62,0.96]3/5不成立CI 跨 0多源互补 投票0.01pp[−1.35, 1.26]3/5不成立精确中性数字怎么来的这四行是我在本机跑脚本得到的输出合成数据、5 族 × 5 种子、配对 bootstrap 10k 次算 CI不是我随手写的估计值也不是第三方评测。四个臂的 CI 都列在表里你可以自己看哪几个跨 0。族平均 Δlinear −6.9pp · xor −1.8pp · radial3 −9.6pp · noisy −2.7pp · sparse −11.3pp第一臂。门槛再说一遍免得误读通过要求CI 下界 ≥ 2pp 且 ≥4/5 族同向。所以第 4 行的0.01pp 虽然是正数但它的 CI 是 [−1.35, 1.26]跨 0是纯噪声级别属于没输不是赢了——这就是判据里写的不成立 CI 下界 ≤ 0没输不等于赢了。四臂里没有一个是显著为正的。三个关键读数最差的拆法非常差把同一份特征切两半、各训一个、再投票 → −6.4pp25 次里 24 次输。机制清楚每个成员看到的信息变少了信息损失盖过了集成增益。ρ̄ ≈ 0.26ρ̄ 成员之间预测结果的相关系数均值成员已经足够不一样了相关性很低。所以问题不在多样性在准确率——多来几个不一样的模型就能救这条路是错的。oracle 上界比任何单模高 5–27ppxor 0.52→0.79、noisy 0.85→0.93说明**“有东西可拿但卡在’怎么合’上”**不是没收益是我没拿到。但也不能一棍子打死局部是有效的hier3门控条件 |x₀|0.7分支内规则与门控同源5 个种子里4 个为正最高 7.0ppmulti12.7pp、hier02.6pp。→ 当拆法与数据结构的真实层级 / 真实来源对齐时能小赚对不上时就是白拆甚至倒亏。5. 顺手记两个我自己踩的坑坑 1选择泄漏。第一版实验里最强单模是我用测试集挑出来的——也就是先看答案再选选手这本身就偏向了反对投票。改成只在验证集上择优验证集挑出分数最高的那个单模选完只跑一次测试集后重跑结论不变−6.4pp。判据没动。坑 2我差点冤枉了自己的代码。实验日志里 25 次都走手工两步我一度判定产品的run_chain不成立。单独验证时它其实输出链路 x 成立2 步全部跑通且都过兜底下限执行序gate → expert 注入为 out-of-fold5 折交叉预测真正的原因是我读返回结构读错了ChainStepOutcome不直接暴露模型目录它在outcome.plan里读到空串就以为失败。是我的 bug不是链路的。教训做自我证伪的实验最容易骗过的其实是自己。所以判据必须跑之前冻结负结果必须原样留在表里。6. 那到底什么时候拆才值当我把条件写进话术不再无条件说拆就更强信息源本身不同多模态 / 多传感器互补——不是把同一份特征切块子任务本身不同流水线各段目标不同前级解决子问题、后级在它输出上工作单模训不动数据不够 / 算力不够只能分而治之你要的是可维护 / 可替换 / 零边际成本而不是精度。外加一条证明义务链级验收门——整条链必须在 hold-out 上打败最强单模 平凡基线否则不通过。单模各自过线只是必要条件没人负责的合起来更好就是耍流氓。还有一条不性感但更致命的拆 N 块 ≈ N 份采集/清洗/验收。效果差只是不好用标注重是第一天就走。所以我下一步要量的不是准确率而是自动打标可用率和每个任务的抽检分钟数——而且打标的老师必须是真模型我现在台账里还有注入的假教师这是个待还的债。7. 删掉精度承诺后我留下什么下面每条都是我自己代码里的实物读者拿不到这个仓库所以我把它写成它落在哪、长什么样而不是第三方已验证我留下的在代码里落在哪 / 长什么样本地训练 本地推理训完断网照样跑之后每多做一次判断都不再按调用付费电费和机器仍是你自己的判定层先算平凡基线并给同一套指标多数类占比 / 随机排序 AP / 分位数阈值基线按后端不同拿不出基线的数不算数——全报警也能有 100% 检出率。评分类任务严格大于基线才算过相等不算。过了 → 归档进versions/旧版保留没过 → 落进rejected/导出即带走导出包 report.mdmanifest.jsonKVX-EXPORT.jsonWATERMARK.txt同一个watermark_id互相交叉引用 签名verify_zip()可只读校验返回ok / tampered / no_mark编排串联 / 并联投票 / OOF 防泄漏有测试裸机上也能真训零依赖兜底后端我自己在本机量到的可跑组合从 18 提到 41/51这张表是自测不是第三方评测边界要如实说仍有10 个模态 × 任务组合没有兜底audio 3 条、graph 3 条、video 的 binary/multiclass、table/text 的异常检测。所以对外应该给一张你这台机器能训什么的表而不是笼统说什么都能训模态 11 个、后端 14 个audio / graph / video / table / text / timeseries / sensor / event_log / operation / preference / decision按算力档位cpu_only/gpu_small/gpu_large决定训什么、训多大——不是所有机器都硬上同一套。8. 算一笔账假设我写清楚你自己换成你的单价以下数字全部是示例假设不构成任何成本承诺或对比结论——只是把账摊开给你看怎么算。场景一条产线每天 2000 次外观判断。走云 API假设每次 1.5k 输入 token 0.2k 输出 token单价按 ¥2/百万输入、¥8/百万输出每次 ≈ ¥0.0046 → 每天 ≈ ¥9.2 →一年 ≈ ¥3,360走本地一次性标注 在本机训练推理电费按 150W × 1 小时/天 × ¥0.6/kWh电费 ≈ ¥0.09/天 →一年 ≈ ¥33机器是你本来就有的差的不是那 3,300 块。真正的差别是三件事断网时你还能不能判断、数据要不要出门、对方涨价时你能不能说不。我不拿这张表当更省的承诺——单价请换成你自己账单上的数字再算。成本是结果不是主张。9. 现状已跑通任务拆解、编排串联/并联/OOF、判定层、模型版本化与落位、导出与水印校验、零依赖兜底后端——都有代码和测试。在做界面接线与本地推理运行时也就是训完点一下就在你机器上跑起来这最后一米。没做的真实数据上的多源实验。上面 5 个任务族全是合成数据——所以第 4 节的结论只对同任务同特征拆分这种最弱形态成立不能推广到真实多传感器场景。这是我下一步唯一能把话说到位的实验UCI-HAR加速度计 陀螺仪两路真实传感器天然多源。内测阶段还没有真实用户跑过完整闭环本文所有数据都是我自己在本机测的。安装包目前到0.4.9约 202 MB每版一行 sha256 / 载荷 md5 / commit 台账。10. 护城河不是 skill这几年最容易被抄的就是 skill工具封装 提示词一天就能复制一份。我的判断是壁垒在下面四层数据飞轮他的产线照片、他的表格、他的录屏只在他的机器上变成他的模型。不是因为他不愿意给而是因为数据不出本机——这让愿意给变成了可能。判定层敢说不达标不许上线。这是工程与配方积累抄走一个函数也抄不走配套的基准与验证流程。配方11 模态零权重后端 训练配方多教师集成 → TTA/WBF → 属性校验 → cleanlab 剔错标 → 软权重/蒸馏/Noisy Student 这一类做法 按算力档位调度。写得出来但跑得通要靠一次次真跑验证。模型流通模型归你可导出、可分享、可出售。这像 skill 市场但交易的是权重而不是提示词。但 skill 我也必须做它是入口不是护城河train_detector训检测、collect_screen采屏、track_objects跟踪、run_overlay跑悬浮框/接管。一句话别人的护城河是教会 agent 用工具我想做的是让 agent 在你这台机器上、用你的数据造出只属于你、且经过验证的能力。11. 接下来三件事打通闭环“一句话 → 拆解 → 自动训练 → 判定门 → 点一下启动”现在只到一半给每个模态定最小达标线判定基准库让过没过有统一口径拿真实数据做一个能传播的端到端案例给 300 张真实图 → 半小时出模型 → 悬浮框实时识别。12. 最后我把更强从自己的卖点里删掉了。留下的是一句可以被验证的话同一类判断要反复做的时候把它拆成几个本地小模型、各带一条验收线串成链路在你自己的机器上跑完——不联网训完不再按调用付费。如果你也在做反复判断的活儿质检、表格异常、屏幕理解、传感器告警你会把它交给云 API还是在自己机器上训一个评论区聊聊你的场景我大概率没想过。