フローのチェック
英語から自動翻訳されています。
英語で読むコードを待って入力するサインアップのテストで確認できるのは、正常系だけです。実際に起きるバグは別のところにあります。2 回使えるコード、古いリセットリンクでまだパスワードを設定できる、メールスキャナーがマジックリンクを使い切ってしまう、2 つ目のアカウントが 1 つ目のデータを読める、などです。Proxy Mail QA は各フローのチェックを、実行手順とアプリのあるべき動作とともに一覧にします。
- エージェントの場合: MCP server の
get_flow_checksを、flowをsign_up、password_resetまたはmagic_linkに設定して使います。エージェントはブラウザーやアプリのツールで各チェックを実行し、合格、不合格、スキップを報告します。 - テストの場合: npm パッケージの
qa.flowChecks('sign_up')、Python ヘルパーのflow_checks("sign_up")、または REST API のGET /v1/flow-checks?flow=sign_upを使います。
各チェックには、id(code_works_once のような固定の名前)、checks(確認する内容)、steps、expect(アプリのあるべき動作)、why(そうならなかったときに利用者に起きる問題)があります。常に実行できるとは限らないチェックには needs があり、必要なものと、スキップしてその旨を伝えるべき場合を示します。
手順のうち Proxy Mail QA の部分はいつもと同じです。新しいアドレスを作成し、送信する直前の時刻を控え、since をその時刻に設定してコードやリンクを待ち、メールの数を数えるか、届かないことを確認します。
サインアップ
Section titled “サインアップ”| チェック | 期待される動作 |
|---|---|
| 確認メールが 1 通届く | コードまたはリンクを含むメールが、1 分以内にちょうど 1 通届く |
| 間違ったコードは拒否される | 間違ったコードはそれぞれメッセージとともに拒否され、何回か試すと、アプリはコードの受け付けを停止するか、新しいコードを求める |
| コードは一度しか使えない | 確認後に同じコードをもう一度入力すると拒否される |
| 期限切れのコードは拒否される | メールに記載された時間を過ぎると、コードは拒否され、新しいコードを受け取る方法が示される |
| 再送後は最新のコードが使える | 最新のコードは使え、最初のコードは拒否される。アプリが両方を受け付ける場合は記録する |
| 未確認のアカウントはアプリを使えない | アプリはまずメールの確認を求め、再送を提案する |
| 確認するとサインインする | サインインした状態になり、再読み込み後もサインインしたままである。または、メールが確認済みであることを伝えるメッセージとともにサインイン画面に移る。空白のページ、エラー、ログインのループにはならない |
| 同じアドレスで再度サインアップしても 2 つ目のアカウントはできない | 最初のパスワードは使え、2 つ目は使えない。アプリはアドレスが使用済みであると伝えるか、通常のメッセージを表示して所有者にメールを送る |
| 2 人目は 1 人目のデータを見られない | 2 つ目のアカウントでサインインして 1 つ目のアカウントの非公開項目を開くと「見つかりません」または「許可されていません」になり、一覧や検索のどこにも表示されない |
パスワードリセット
Section titled “パスワードリセット”| チェック | 期待される動作 |
|---|---|
| パスワードをリセットする方法がある | サインインページにリセットの案内があり、リセットメールが 1 分以内に 1 通届く |
| 未登録のアドレスでのリセットは何も明かさない | ページには実在のアカウントと同じメッセージが表示され、リセットリンクは届かない |
| 新しいパスワードは使え、古いパスワードは使えない | リセット後、古いパスワードは拒否され、新しいパスワードは使える |
| リセットリンクは一度しか使えない | パスワード設定後にリンクをもう一度開くと拒否され、新しいリンクの送信が提案される |
| 最新のリセットリンクだけが使える | 2 回リクエストした後、最初のリンクは拒否され、最新のリンクは使える |
| 期限切れのリセットリンクは拒否される | メールに記載された時間を過ぎると、リンクは拒否され、新しいリンクをリクエストする方法が示される |
| リセットリンクは別のブラウザーでも使える | 別のブラウザーでリセットできる。または、リクエストしたブラウザーでリンクを開くようページではっきり伝える |
マジックリンクでのサインイン
Section titled “マジックリンクでのサインイン”| チェック | 期待される動作 |
|---|---|
| リンクでサインインする | サインインした状態になり、再読み込み後もサインインしたままである |
| リンクは 2 回目には使えない | 別のブラウザーでもう一度開くと、誰もサインインせず、使用済みであると表示される |
| メールスキャナーが先にリンクを開いても使い切られない | スキャナーが行うような単純なリクエストをリンクに送った後でも、ブラウザーでサインインできる。リンクはボタンのあるページを開くか、メールにコードも含まれている |
| 最新のリンクだけが使える | 2 回リクエストした後、最初のリンクは拒否され、最新のリンクでサインインできる |
| 期限切れのリンクは拒否される | メールに記載された時間を過ぎると、リンクは拒否され、新しいリンクをリクエストする方法が示される |
| リンクは別のブラウザーでも使える | 別のブラウザーでサインインできる。または、リクエストしたブラウザーでリンクを開くようはっきりしたメッセージが出る |
Proxy Mail QA はメール内のリンクを開かないため、自身のチェックでリンクを使い切ることはありません。メールスキャナーのチェックは、職場のメールスキャナーの動作を再現します。その重要性と、アプリでの回避方法は メールスキャナーが先にリンクを開く場合 で説明しています。
- チェックごとに新しいアドレスを使います。 以前のメールと一致することがなく、あるチェックのアカウントが次のチェックに影響しません。
- 送信のたびに直前の時刻を控え、
sinceとして渡します。再送や 2 回目のリクエスト後の待機で、最初のメールではなく最新のメールが見つかります。 - 実行できないものはスキップし、理由を伝えます。 1 時間の有効期限は、ほとんどのテスト実行には長すぎます。期限切れのチェックはスキップし、スキップとして報告します。チェックを通すために、有効期限を短くしたりメール確認をオフにしたりするなど、アプリの設定を変更してはいけません。
- アプリ経由でのみ行います。 2 ユーザーのチェックでは、2 つ目のアカウントでサインインした状態で、ページを開き、アプリ自身が送るリクエストを繰り返します。アプリのデータベースを読むことはありません。
- 実行に記録します。 実行中、エージェントは各チェックを
add_run_noteでレポートに追加し、失敗したものは不合格としてマークします。これでプルリクエストのレポートにすべてのチェックが載ります。
- 自分のアプリを、開発環境またはステージング環境でテストしてください。各チェックは新しいアカウントでサインアップします。
- 2 ユーザーのチェックは、試したページの簡易チェックであり、セキュリティ監査ではありません。合格しても、すべてのページが保護されているとは限りません。
- 間違ったコードのチェックでは、試行回数が多すぎるとテスト用アカウントがロックされることがあります。それはチェックが正しく機能している証拠です。
このページについて質問がありますか?
質問はどの言語でもかまいません。ドキュメントからすぐに回答を得ることも、Proxy Mail QA チームに質問を送ることもできます。チームからの返信は英語です。