跳转到内容

等待验证码并输入的注册测试只能证明正常路径可用。用户真正遇到的 bug 在别处:验证码能用两次,旧的重置链接仍能设置密码,魔法链接被邮件扫描器用掉,第二个账号能读取第一个账号的数据。Proxy Mail QA 列出了每个流程的检查项,包括执行步骤和应用应有的表现。

  • 智能体:在 MCP server 上使用 get_flow_checks,并将 flow 设为 sign_up、password_reset 或 magic_link。智能体用它的浏览器或应用工具执行每项检查,并报告通过、失败或跳过。
  • 测试:npm 包中的 qa.flowChecks('sign_up'),Python 辅助工具中的 flow_checks("sign_up"),或 REST API 上的 GET /v1/flow-checks?flow=sign_up。

每项检查都带有 id(固定名称,如 code_works_once)、checks(检查什么)、steps、expect(应用应有的表现)和 why(不满足时用户会遇到什么问题)。无法每次都执行的检查带有 needs:说明它需要什么,以及何时跳过并注明。

步骤中的 Proxy Mail QA 部分都是常规操作:新建地址,在提交前记下时间,等待验证码或链接并把 since 设为该时间,然后统计邮件数量或确认没有邮件。

检查 预期结果
收到一封确认邮件 1 分钟内恰好收到一封带验证码或链接的邮件
错误的验证码被拒绝 每个错误验证码都被拒绝并显示提示,尝试几次后应用不再接受验证码或要求获取新验证码
验证码只能用一次 确认后再次输入同一验证码会被拒绝
过期的验证码被拒绝 超过邮件中说明的时间后,验证码被拒绝,并提供获取新验证码的方式
重新发送后,最新的验证码有效 最新的验证码有效,第一个被拒绝。如果应用两个都接受,请记录下来
未确认的账号不能使用应用 应用要求先确认邮箱,并提供重新发送
确认后用户即登录 用户进入已登录状态,刷新后仍保持登录;或进入登录页并看到邮箱已确认的提示。不能是空白页、错误或登录循环
用同一地址再次注册不会创建第二个账号 第一个密码仍然有效,第二个无效。应用提示该地址已被使用,或显示常规提示并给地址所有者发邮件
第二个用户看不到第一个用户的数据 以第二个账号登录,打开第一个账号的私有项目时显示“未找到”或“无权限”,且它不出现在任何列表或搜索中
检查 预期结果
有重置密码的入口 登录页提供重置入口,并在 1 分钟内收到一封重置邮件
对未知地址发起重置不会泄露任何信息 页面显示与真实账号相同的提示,且不会收到重置链接
新密码有效,旧密码无效 重置后,旧密码被拒绝,新密码有效
重置链接只能用一次 设置密码后再次打开链接会被拒绝,并提供发送新链接
只有最新的重置链接有效 请求两次后,第一个链接被拒绝,最新的链接有效
过期的重置链接被拒绝 超过邮件中说明的时间后,链接被拒绝,并提供申请新链接的方式
重置链接在另一个浏览器中可用 在那里可以完成重置,或页面明确提示要在发起请求的浏览器中打开链接
检查 预期结果
链接让用户登录 已登录,刷新后仍保持登录
链接第二次使用时失效 在另一个浏览器中再次打开时,不会让任何人登录,并提示链接已被使用
邮件扫描器先打开链接不会把它用掉 像扫描器那样对链接发起普通请求后,浏览器仍能登录:链接打开的是带按钮的页面,或邮件中同时提供验证码
只有最新的链接有效 请求两次后,第一个链接被拒绝,最新的链接可以登录
过期的链接被拒绝 超过邮件中说明的时间后,链接被拒绝,并提供申请新链接的方式
链接在另一个浏览器中可用 在那里登录成功,或明确提示要在发起请求的浏览器中打开链接

Proxy Mail QA 从不打开你邮件中的链接,所以它自己的检查不会把链接用掉。邮件扫描器检查模拟的是工作邮箱扫描器的行为;当邮件扫描器先打开链接时 解释了这为什么重要,以及应用如何应对。

  • 每项检查使用新地址,这样之前的邮件不会被匹配到,一项检查的账号也不会影响下一项。
  • 每次提交前记下时间并作为 since 传入,这样在重新发送或第二次请求后等待时,找到的是最新的邮件,而不是第一封。
  • 无法执行的就跳过,并说明原因。1 小时的有效期对大多数测试运行来说太长:跳过有效期检查并报告为已跳过。不要为了让检查通过而修改应用设置,比如缩短有效期或关闭邮箱确认。
  • 只通过应用操作。双用户检查以第二个账号登录,打开页面并重复应用自身发出的请求。它从不读取应用的数据库。
  • 在运行中记录。在一次运行中,智能体用 add_run_note 把每项检查加入报告,失败的标为失败,这样拉取请求的报告会列出每项检查。
  • 请测试你自己的应用,在开发或预发布环境中进行。每项检查都会注册新账号。
  • 双用户检查只是对你尝试的页面做快速检查,不是安全审计。通过并不代表每个页面都受到保护。
  • 错误验证码检查可能在尝试次数过多后锁定测试账号;这说明检查在正常工作。

对本页有疑问?

可以用任何语言提问。文档可以立即回答,你也可以把问题发给 Proxy Mail QA 团队,他们会用英文回复。