流程检查
本页由英文自动翻译。
阅读英文版等待验证码并输入的注册测试只能证明正常路径可用。用户真正遇到的 bug 在别处:验证码能用两次,旧的重置链接仍能设置密码,魔法链接被邮件扫描器用掉,第二个账号能读取第一个账号的数据。Proxy Mail QA 列出了每个流程的检查项,包括执行步骤和应用应有的表现。
- 智能体:在 MCP server 上使用
get_flow_checks,并将flow设为sign_up、password_reset或magic_link。智能体用它的浏览器或应用工具执行每项检查,并报告通过、失败或跳过。 - 测试:npm 包中的
qa.flowChecks('sign_up'),Python 辅助工具中的flow_checks("sign_up"),或 REST API 上的GET /v1/flow-checks?flow=sign_up。
每项检查都带有 id(固定名称,如 code_works_once)、checks(检查什么)、steps、expect(应用应有的表现)和 why(不满足时用户会遇到什么问题)。无法每次都执行的检查带有 needs:说明它需要什么,以及何时跳过并注明。
步骤中的 Proxy Mail QA 部分都是常规操作:新建地址,在提交前记下时间,等待验证码或链接并把 since 设为该时间,然后统计邮件数量或确认没有邮件。
| 检查 | 预期结果 |
|---|---|
| 收到一封确认邮件 | 1 分钟内恰好收到一封带验证码或链接的邮件 |
| 错误的验证码被拒绝 | 每个错误验证码都被拒绝并显示提示,尝试几次后应用不再接受验证码或要求获取新验证码 |
| 验证码只能用一次 | 确认后再次输入同一验证码会被拒绝 |
| 过期的验证码被拒绝 | 超过邮件中说明的时间后,验证码被拒绝,并提供获取新验证码的方式 |
| 重新发送后,最新的验证码有效 | 最新的验证码有效,第一个被拒绝。如果应用两个都接受,请记录下来 |
| 未确认的账号不能使用应用 | 应用要求先确认邮箱,并提供重新发送 |
| 确认后用户即登录 | 用户进入已登录状态,刷新后仍保持登录;或进入登录页并看到邮箱已确认的提示。不能是空白页、错误或登录循环 |
| 用同一地址再次注册不会创建第二个账号 | 第一个密码仍然有效,第二个无效。应用提示该地址已被使用,或显示常规提示并给地址所有者发邮件 |
| 第二个用户看不到第一个用户的数据 | 以第二个账号登录,打开第一个账号的私有项目时显示“未找到”或“无权限”,且它不出现在任何列表或搜索中 |
| 检查 | 预期结果 |
|---|---|
| 有重置密码的入口 | 登录页提供重置入口,并在 1 分钟内收到一封重置邮件 |
| 对未知地址发起重置不会泄露任何信息 | 页面显示与真实账号相同的提示,且不会收到重置链接 |
| 新密码有效,旧密码无效 | 重置后,旧密码被拒绝,新密码有效 |
| 重置链接只能用一次 | 设置密码后再次打开链接会被拒绝,并提供发送新链接 |
| 只有最新的重置链接有效 | 请求两次后,第一个链接被拒绝,最新的链接有效 |
| 过期的重置链接被拒绝 | 超过邮件中说明的时间后,链接被拒绝,并提供申请新链接的方式 |
| 重置链接在另一个浏览器中可用 | 在那里可以完成重置,或页面明确提示要在发起请求的浏览器中打开链接 |
魔法链接登录
Section titled “魔法链接登录”| 检查 | 预期结果 |
|---|---|
| 链接让用户登录 | 已登录,刷新后仍保持登录 |
| 链接第二次使用时失效 | 在另一个浏览器中再次打开时,不会让任何人登录,并提示链接已被使用 |
| 邮件扫描器先打开链接不会把它用掉 | 像扫描器那样对链接发起普通请求后,浏览器仍能登录:链接打开的是带按钮的页面,或邮件中同时提供验证码 |
| 只有最新的链接有效 | 请求两次后,第一个链接被拒绝,最新的链接可以登录 |
| 过期的链接被拒绝 | 超过邮件中说明的时间后,链接被拒绝,并提供申请新链接的方式 |
| 链接在另一个浏览器中可用 | 在那里登录成功,或明确提示要在发起请求的浏览器中打开链接 |
Proxy Mail QA 从不打开你邮件中的链接,所以它自己的检查不会把链接用掉。邮件扫描器检查模拟的是工作邮箱扫描器的行为;当邮件扫描器先打开链接时 解释了这为什么重要,以及应用如何应对。
- 每项检查使用新地址,这样之前的邮件不会被匹配到,一项检查的账号也不会影响下一项。
- 每次提交前记下时间并作为
since传入,这样在重新发送或第二次请求后等待时,找到的是最新的邮件,而不是第一封。 - 无法执行的就跳过,并说明原因。1 小时的有效期对大多数测试运行来说太长:跳过有效期检查并报告为已跳过。不要为了让检查通过而修改应用设置,比如缩短有效期或关闭邮箱确认。
- 只通过应用操作。双用户检查以第二个账号登录,打开页面并重复应用自身发出的请求。它从不读取应用的数据库。
- 在运行中记录。在一次运行中,智能体用
add_run_note把每项检查加入报告,失败的标为失败,这样拉取请求的报告会列出每项检查。
- 请测试你自己的应用,在开发或预发布环境中进行。每项检查都会注册新账号。
- 双用户检查只是对你尝试的页面做快速检查,不是安全审计。通过并不代表每个页面都受到保护。
- 错误验证码检查可能在尝试次数过多后锁定测试账号;这说明检查在正常工作。
对本页有疑问?
可以用任何语言提问。文档可以立即回答,你也可以把问题发给 Proxy Mail QA 团队,他们会用英文回复。