AI-Employe 的核心秘密动作增强生成AAG如何让 GPT-4 不跑偏、精准完成浏览器任务【免费下载链接】AI-EmployeCreate browser automation as if you were teaching a human using GPT-4 Vision.项目地址: https://gitcode.com/gh_mirrors/ai/AI-Employe你是否想过为什么大多数浏览器自动化 AI 总是干两三步就飘了开源项目AI-Employe用 GPT-4 Vision 实现了像教人一样教 AI 操作浏览器而它最核心的秘诀正是自研的动作增强生成Actions Augmented Generation简称 AAG——一种把人类操作记录注入提示词的技术让 GPT-4 在执行浏览器任务时始终不跑偏。为什么 GPT-4 容易在浏览器里跑偏直接给 GPT-4 Vision 一张网页截图、一句帮我点登录按钮它很容易出现两类问题找错元素靠坐标或 HTML 片段猜位置容易幻觉点错地方偏离目标模型自由发挥做着做着就自己编任务了AI-Employe 针对这两个问题分别给出了解法本文重点拆解第二个——AAG 是如何把 AI拴在任务轨道上的什么是动作增强生成AAGAAG 的思路和 RAG检索增强生成神似不靠模型记忆而是靠注入事实来约束它。区别在于AAG 注入的不是文档而是你在浏览器里真实做过的操作序列。整个流程分三步第一步录制你的操作而不是录屏 创建 workflow 时AI-Employe 不录屏幕、不录麦克风只通过浏览器扩展注入录制脚本记录你每一次点击、输入时对应的DOM 元素变化。你的操作就是最准确的示范数据录制逻辑位于录制入口与脚本注入recorder.ts第二步用标题 目标 操作记录生成任务清单 你把操作记录连同 workflow 的标题、目标一起交给 GPT它会生成一份结构化的任务列表支持函数调用 JSON 输出保证格式稳定。这一步的核心 Prompt 构造在 prompts.rs任务生成请求在 tasks.rs 中完成。第三步执行任务时把老师傅的操作塞进 Prompt这是 AAG 真正生效的地方。每执行一个任务时系统会检索你在同一域名下做过的所有操作记录并原样嵌入 PromptBelow are the browser actions your supervisor performed on this domain while demonstrating the task... ——prompts.rs即使你的标题和目标写得再模糊GPT 也有了一份员工示范操作手册可以对照自然就不跑偏了。检索与组装逻辑见 action.rs。双保险DOM 全文索引 搜索词定位元素光不跑偏还不够还得点对位置。AI-Employe 让 GPT-4 Vision 输出的不是坐标而是要点击的元素文字search_term_to_find_this_element然后把整页 DOM 解析后索引进 MeiliSearch —— search.rs用 GPT 给出的搜索词精确检索拿到真实元素 ID —— search.rs扩展拿到 ID 后通过 CDP 派发真实鼠标/键盘事件执行 —— action.ts再加上temperature: 0的推理参数action.rs整套链路让找元素也告别了幻觉。关键文件速查表 想深入阅读源码可以从这些文件入手提示词工程AAG 核心server/src/common/gpt/prompts.rs动作生成与 GPT-4 Vision 调用server/src/common/gpt/action.rs任务清单生成server/src/common/gpt/tasks.rsDOM 索引与元素搜索server/src/common/dom/search.rs扩展端操作录制client/extension/src/lib/worker/recorder.ts浏览器端动作执行client/extension/src/lib/worker/action.tsAAG 带来的实际收益✅描述模糊也不怕你的操作本身就是最好的 Prompt✅可复用、可分享workflow 记录的是结构化动作随时重放✅低幻觉搜索词 DOM 索引定位不依赖坐标猜测✅技术栈轻量Next.js Rust Postgres MeiliSearch Firebase Auth想自己动手试试克隆仓库后即可按 README 中的步骤本地运行需要自备 OpenAI 与 Firebase 密钥git clone https://gitcode.com/gh_mirrors/ai/AI-Employe cd AI-Employe npm install一句话总结AAG 的本质是用示范代替指令——当提示词里装满了人类老师傅的真实操作时GPT-4 想跑偏都难。这也给所有 LLM 智能体项目提供了一个值得借鉴的设计范式 【免费下载链接】AI-EmployeCreate browser automation as if you were teaching a human using GPT-4 Vision.项目地址: https://gitcode.com/gh_mirrors/ai/AI-Employe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考