自我改进循环需要什么
满足以下四点时,智能体就能改进自己的工作:
- 它能行动:写代码、运行应用、填写表单。
- 它能观察结果,而不只是自己的输出。“代码编译通过”不等于“用户收到了邮件”。
- 它能比较这次和上次的尝试,从而知道改动是否有用。
- 它能保留学到的东西,让下次尝试或下次会话从更远处开始。
第一点智能体已经做得很好。另外三点取决于工具。
注册场景中循环在哪里断开
- 结果在收件箱里。 智能体提交表单,看到“请查收邮件”。邮件是否发出、链接指向哪里、验证码能否使用,它都无从得知。
- 所以它会过早报告成功。 “注册已实现”通常只意味着表单能提交。智能体没有任何证据,你也没有。
- 编造的地址无法走完流程,而你自己的地址只能用一次。
- 什么都留不下来。 没有上次运行的记录,智能体分不清是修好了还是碰巧。
使用 Proxy Mail QA 的循环
每一步都由智能体完成。Proxy Mail QA 是它用来检查的工具。
| 步骤 | 智能体 | 它使用的工具 |
|---|---|---|
| 行动 | 构建或修改流程,打开注册页面 | 它自己的编辑器和浏览器 |
| 获取用于表单的地址、人设和密码 | form_values 或 create_address |
|
| 观察 | 提交后等待验证码或链接 | wait_for_code, wait_for_link |
| 询问为什么什么都没收到 | check_delivery |
|
| 检查邮件的发送、链接、有效期和大小 | check_email, count_emails |
|
| 对比 | 记录会话,并读取和最近几次相比的变化 | start_run, finish_run |
| 保留 | 在你同意后,保存它对表单的了解 | save_custom_field, save_signup_screen |
第一轮通常是这样的:
- 智能体加上邮件验证,用新的测试地址注册。
- 等待没有结果。投递检查显示邮件服务商只向已验证的地址发信。智能体看到自己的工作还没完成,也知道原因。
- 它修复服务商的配置后再次运行。邮件 4 秒后到达,但检查显示链接指向
localhost。 - 它修复站点 URL 后再次运行。链接打开 staging,账号验证成功,且只收到一封邮件。
- 这次运行的报告列出了全部三次尝试。智能体告诉你它改了什么,并给出证据。
没有收件箱的话,智能体在第 1 步之后就会停下,并说已经完成。
智能体改进的三样东西
它在本次会话中的工作。 每次检查都会说明哪里失败、为什么失败,所以智能体的下一次改动有明确目标。这就是上面的循环。
项目配置,惠及之后每次会话。 遇到填不了的字段(比如公司规模)时,智能体可以问你,并把答案保存为自定义字段。发现表单分多个页面时,它可以把这些页面保存下来。下一个智能体,或下一个使用 Chrome 扩展的人,第一次就能正确填写表单。智能体只在你提出或同意时才修改这些。
它给自己的指令。 让智能体在会话结束时,把学到的东西写进每次会话开始时都会读取的文件(CLAUDE.md、AGENTS.md 或某个技能):“staging 的邮件服务商需要验证域名”,“重置链接 10 分钟后过期,所以要马上打开”。这是最接近“递归”一词的部分:智能体用一次运行的证据,改变它下一次的工作方式。
After each change to sign-up, login or password reset, run the auth regression pack onstaging with Proxy Mail QA. If the report shows a new failure, fix it and run again.When it passes, add one line to AGENTS.md for anything you learnt that the next sessionshould know, and show me the report.如何知道它是否变好了
循环需要衡量标准。认证回归测试包 每次都做相同的检查:注册、同一链接打开两次、被替换的重置链接、邀请。报告最后会列出和最近几次运行相比的变化:邮件变慢、多出的邮件、新出现或间歇性的失败、新失败的检查、新的发件人或链接站点。
这样智能体就有了前后对比,你也有了一份不是智能体自己写的、关于它自己的材料可读。
如果是有人报告 bug,同样的循环从他们的报告开始:见 用智能体分拣注册和登录 bug 报告。
由你负责的部分
- Proxy Mail QA 不改变任何模型,也不改任何代码。 改进是智能体做的,错误也是。要读报告,而不只是摘要。
- 只用于测试构建。 循环在开发、staging 和预览站点上运行,绝不在你的线上站点或真实用户的账号上运行。
- 持久的改动需要你同意。 自定义字段、站点和注册页面会影响项目中的所有人。
- 报告不包含邮件正文。 它只保留地址、耗时、检查结果和每个链接的站点,所以可以放到 pull request 中。
- 只支持邮件。 不支持通过短信发送的验证码。