A2UI Atom 推理格式优化实录:run_010 如何用一次 ATOM_RULES 提示词改写把质量分拉回 100%【免费下载链接】a2ui项目地址: https://gitcode.com/GitHub_Trending/a2/a2ui本篇解读 A2UI 仓库中 Atom 推理格式迭代优化的一次典型成功案例(run_010):通过收紧系统提示词ATOM_RULES的语法规则——明确交互控件的 action 补全要求并加入属性精简约束——使评测质量分从 83.3% 恢复到 100%,同时推理 Token 与代码输出 Token 同步下降。读完后你将理解 A2UI 推理格式优化闭环的完整结构:假设驱动、Git diff 留痕、多维指标判定与 Keep/Backtrack 决策规则,并能据此复现或审计同类优化实验。一、上下文:A2UI 推理格式迭代优化器在做什么A2UI 除了标准的 JSON 消息格式外,还在实验阶段提供了若干更紧凑的 LLM 推理输出格式,其中 Atom 是一种 S-Expression(性态表达式)写法,由 Atom 格式实现目录 下的prompt_generator.py(提示词生成)、compiler.py(Atom → A2UI JSON 编译器)等模块组成。围绕这些格式,仓库在 eval/iterative_format_optimizer/ 下建立了一套基准测试 自动归档的迭代优化管线,其核心规程定义在 inference-format-optimizer 技能文档 中,标准的六步工作流为:分析历史:检查history/format/目录与 总历史索引,避免重复已被回退的假设;实现假设:修改对应格式目录下的compiler.py、prompt_generator.py或parser.py;跑单元测试:确认修改不破坏现有 pytest 用例;执行基准评测:运行python scripts/optimize_format.py --format format(脚本位于 skills/inference-format-optimizer/scripts/);按决策规则判定:必须通过 pytest、保持基线准确率、代码输出 Token 不得膨胀超过 5%,综合得分 $S_{\text{opt}}$ 提升才 Keep,否则回退;归档与同步:用--archive归档本次运行的report.md、patch.diff、run_meta.json,并通过sync_history.py更新总索引。本文主角 run_010 正是这套流程在atom格式上的一次留痕产物,完整档案位于 run_010 目录,评测模型为google/gemini-3.5-flash,Token 预算为 Unbounded(不限制)。二、本次运行的假设与核心改动本次运行的假设(见 run_meta.json)是:Refine ATOM_RULES prompt grammar rules for explicit action completion on interactive controls and add property conciseness guidance. (细化 ATOM_RULES 提示词语法规则:对交互控件施加显式的 action 补全要求,并加入属性精简指引。)改动只落在一个文件:prompt_generator.py 中的ATOM_RULES常量(完整 diff 见 patch.diff)。具体包含六处修改:1. 合并重复的哨兵标签指令改动前ATOM_RULES开头有两句语义重叠的指令:-You MUST surround the entire A2UI Atom block with the sentinel tags a2ui and /a2ui. - -IMPORTANT: Wrap your output inside a2ui and /a2ui sentinel tags. Do NOT output raw JSON messages. You MUST surround the entire A2UI Atom block with the sentinel tags a2ui and /a2ui. Do NOT output raw JSON messages.哨兵标签a2ui//a2ui是 Atom 输出与正文的边界标记,编译器依赖它截取 UI 代码块。去重后指令更短且语义不变,减少提示词内的冗余搜索空间。2. 规则 6:为 data 块补充 map 字面量写法- - Initialize or populate data model state exclusively using the (data $/path1 val1 $/path2 123) block at the root level. - Initialize data model state using (data $/path1 val1 $/path2 123) or (data $/map_path (:key1 val1 :key2 val2)).改动前只给出了路径-值交错填充的写法,且用 exclusively … at the root level 这种过强措辞限制其位置;改动后显式给出了(data $/map_path (:key1 val1 :key2 val2))这种 map 字面量形式,让模型初始化嵌套数据模型时有明确的语法模板。3. 规则 8:交互控件必须给出 action 表达式(本次运行的关键假设)- - Actions use (Event action_name :param1 $/value). - Actions use (Event action_name :param1 $/value). Interactive controls with action attributes MUST provide an action expression, e.g., (ActionComponent :child (ChildComponent Text) :action (Event click_action)).这是质量分从 83.3% 掉下来的直接病因的针对性修复:此前的规则只描述了Event的语法,但没有强制带 action 属性的交互控件(按钮等)必须挂接一个 action 表达式。评测中正是出现了交互控件缺失 action 属性的样本,导致质量分不达标。改动后把这一要求写成硬约束(MUST)并附带可复制的最小示例。4. 示例 1:属性名对齐目录(从:onPress到:action)- (ActionComponent :label Submit :onPress (Event submit_action :val $/form/field))) (ActionComponent :label Submit :action (Event submit_action :val $/form/field)))示例中使用的属性名必须与Component Catalog Signatures段落中的真实目录签名一致。:onPress这类臆造属性名会诱导模型输出目录外的键名;换成与规则 8 一致的:action后,提示词内部完全自洽。5. 示例 2:把 JSON 对象改为 S-Expression map 字面量- (data $/items [{id: 1, name: Item 1}] $/title List Title) (data $/items [(:id 1 :name Item 1)] $/title List Title)Atom 是 S-Expression 记法,示例里混入原生 JSON 对象{id: 1, ...}会造成记法层面的混淆;改成[(:id 1 :name Item 1)]后,示例数据填充与规则 6 新增的 map 字面量写法形成呼应,提示词内部的记法语义统一。6. 规则 11:标题升级为 Strict Catalog Adherence Conciseness,并引入最简输出原则-11. Strict Catalog Adherence: 11. Strict Catalog Adherence Conciseness: - You MUST ONLY use property names listed in the Component Catalog Signatures below. - Do NOT invent CSS or style attributes (e.g. style, padding, margin, backgroundColor, color, fontSize, size, minHeight, borderRadius, spacing, align, justify). - - Strictly adhere to the exact property names and allowed enum values listed in the Component Catalog Signatures. - Output minimal properties required to satisfy the user request.第三点原来只是对前两点严格贴合目录的重复强调,信息量低;改为只输出满足用户请求所需的最小属性集后,规则从消极禁止升级为积极约束,直接引导模型输出更短的组件声明。三、评测结果:质量、延迟、Token 三赢report.md 的摘要表记录了基线(上一轮 Keep 的状态)与本次运行的对比:指标基线本次运行差异Pytest 一致性测试PASSPASS-总体通过率(质量分)83.3%100.0%16.7%算法化 Schema 通过率100.0%100.0%0.0%推理耗时8.45s8.78s3.9%平均输入/输出 Token00-报告同时给出Failure Details (Count: 0 / 6)—— 6 个评测样本全部通过,无一失败。run_meta.json 与总历史索引中补充了更细粒度的中位数指标,这些是决策规则真正依据的数据:维度基线run_010变化并行墙钟延迟7.83s6.67s-14.9%推理(reasoning)Token 中位数5,6845,061-11.0%代码输出 Token 中位数320289-9.5%输入 Token 中位数-4,451.5-综合得分 $S_{\text{opt}}$0.5500.6200.070对照 SKILL.md 中声明的三条决策规则,run_010 全部满足:pytest 通过(507 个用例全部通过)、Schema 准确率保持 100% 且质量分不降反升、代码输出 Token 不升反降(-9.5%,远好于 5% 的膨胀上限),最终状态判定为Kept,基线随之更新。这一结论在 history_summary.md 的 atom 表中同样有对应条目。值得注意的对照是:摘要表中的Inference Duration由 8.45s 变为 8.78s(3.9%),而决策依据是并行墙钟延迟 6.67s vs 7.83s(-14.9%)。从指标定义看,前者更接近端到端串行耗时口径,后者是并行评测的墙钟口径,run_010 的判定以并行口径为准。这一细节说明:阅读优化报告时,应对照 scoring_model.md 中 $S_{\text{opt}}$ 与效率上限的准确定义,而不是只看单一延迟数字。四、源码级佐证:ATOM_RULES 现在长什么样改动后的ATOM_RULES已固化进 prompt_generator.py 的常量定义(约 L25-L84),当前仓库版本中可以逐条对照本次运行落地的内容:L26:合并后的单句哨兵标签约束,Do NOT output raw JSON messages.与MUST surround ... sentinel tags合为一行;L52:规则 6 的双写法——(data $/path1 val1 $/path2 123)与(data $/map_path (:key1 val1 :key2 val2))并存;L58:规则 8 的硬约束——Interactive controls with action attributes MUST provide an action expression, e.g., (ActionComponent :child (ChildComponent Text) :action (Event click_action)).;L70:示例 1 使用:action (Event submit_action :val $/form/field),属性名与目录签名一致;L76:示例 2 的(data $/items [(:id 1 :name Item 1)] $/title List Title),纯 S-Expression 记法;L80-L83:第 11 条 Strict Catalog Adherence Conciseness,第三点即Output minimal properties required to satisfy the user request.这些规则并不是孤立生效的:同一文件中的AtomPromptGenerator.generate()(L172-L217)负责把系统提示词组装成三段式结构——角色描述、## Instructions(内含ATOM_RULES与工作流说明)、以及由_generate_component_signatures()/_generate_function_signatures()从 JSON Schema 目录动态编译出的## Component Catalog Signatures与## Function Signatures。规则 11 强调的只用目录签名中列出的属性名,其属性名清单正是由后者按?标记可选参数、内联Must be one of: ...枚举值的方式逐属性生成的。也就是说,run_010 的提示词改写与目录签名生成机制是配合工作的:签名部分提供白名单,规则 11 的新增精简条款控制输出量。从源码结构看,这次实验的成功也解释了一个模式:atom 格式的历次运行中,不少编译器侧(compiler-side)的激进归一化(如 run_005、run_007、run_009)因 Schema 准确率回退而被 Backtrack,而提示词侧针对明确缺失约束的最小化修补(run_010、run_008)更容易保持正确性。run_010 的 diff 全部是把已经隐含、但没写死的规则写死以及消除示例与规则的自相矛盾,没有引入任何新的语义分支,这是它能同时改善质量与 Token 的结构性原因。五、如何复现与验证这一结论在只读仓库中,验证链条上所有证据文件均已归档,可按以下顺序查阅:运行报告与指标:report.md(摘要表、diff、失败明细)与 run_meta.json(假设、状态、中位数指标);完整补丁:patch.diff,逐 hunk 与上文第二节对照;改动落点:prompt_generator.py 的ATOM_RULES常量;决策规则与评分定义:SKILL.md 的六步工作流与 scoring_model.md 的 $S_{\text{opt}}$ 公式;横向对照:history_summary.md 中 atom 001-052 全量运行记录,以及 baselines/atom/ 下各 Token 预算档位的基线元数据(如unbounded_run_meta.json)。若要发起新一轮实验,按技能文档给出的命令入口执行即可:快速验证python scripts/optimize_format.py --format atom,全量评测加--full,与基线对比用python scripts/compare_results.py --baseline eval/iterative_format_optimizer/baselines/atom/unbounded_run_meta.json eval/iterative_format_optimizer/logs/temp_optimization/,脚本均位于 skills/inference-format-optimizer/scripts/ 目录。六、本次运行给出的三条可迁移经验提示词中的隐含约束是质量分波动的主要来源。atom 质量分从 83.3% 掉点的样本,病因是交互控件缺 action 属性这一模型默认会省略的字段;用 MUST 最小示例的方式把它显式化,是修复成本最低的手段。示例必须与目录签名逐字自洽。onPress换成action、JSON 对象换成 S-Expression map 这两处零信息量修正,消除了提示词内部的记法冲突,避免模型在两种写法间摇摆。输出最小必要属性比严格贴合枚举值更有优化价值。把重复强调的合规条款替换为积极的精简条款,推理 Token 与代码输出 Token 各降约一成——这说明在格式已稳定的阶段,提示词优化的边际收益更多来自输出预算的约束,而非语法的继续细化。【免费下载链接】a2ui项目地址: https://gitcode.com/GitHub_Trending/a2/a2ui创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考