複数画面のサインアップのテストが難しい理由
- アカウントを引き継ぐ必要がある。 画面 2 は画面 1 で作ったアカウントのものです。そこで新しいアドレスや一致しない名前を使うと、実在の人では起こりえないアカウントになります。
- 後の画面はアプリ独自の質問をする。 会社の規模、役職、「どこで知りましたか?」、プランなどです。毎回同じ値を入力するのは時間がかかり、テスター、テスト、エージェントごとに違う値をでっち上げることになります。
- アカウント作成後に出る画面がある。 オンボーディングの質問は、アカウント作成後、確認メールの後に出ることが多いため、テストはメールとその前後の画面の両方を扱う必要があります。
- 画面は変わる。 プロダクトチームは質問を別の画面に移します。各画面のフィールドを列挙したテストはすぐに古くなります。
コーディングエージェントで
form_values は 1 画面ずつ答えます。最初の画面でアカウントを作り、その後の各画面のフィールドを同じ address と、その画面の site と page とともに送るようエージェントに頼みます:
- 「新しい Proxy Mail QA アカウントで staging.acme.dev にサインアップして、サインアップのすべての画面を進めて」
- 各画面で、エージェントはページが示すフィールドの情報を、ページのホストとパス(
siteとpage)とともにform_valuesに送り、返ってきた値を入力します。後の画面でパスワード、生年月日、国を求められ、アカウントにまだない場合は、その時点で作成します。 - アプリ独自のフィールドは、プロジェクトにカスタムフィールドがあれば
kind: "custom"付きで、なければkind: "guess"付きで返ります。エージェントはどれが推測かを伝えます。 - エージェントが自分で Next を押し、最後に確認コードやリンクを待ちます。
何も入力されない質問がある画面では、エージェントに save_custom_field でカスタムフィールドを保存するよう頼めば、以後の実行で毎回同じ値が入ります。sign-up-form-setup のスキルはフォーム全体を確認し、推測されるか空のままになるフィールドごとにカスタムフィールドを提案します。
Playwright のテストで
npm パッケージでは、各画面で最初の画面のアカウントを使って formValues を呼び出します:
const first = await qa.formValues({ fields: await readFields(form), site: 'staging.acme.dev', page: '/signup' });await fill(form, first.values);await form.getByRole('button', { name: 'Continue' }).click();
await page.waitForURL('**/signup/team');const team = await qa.formValues({ fields: await readFields(form), address: first.address, site: 'staging.acme.dev', page: '/signup/team' });await fill(form, team.values);readFields はページに表示されたとおりに各フィールドを記述し、fill は各値を入力または選択します。Node.js クライアントには両方があります。同じアカウントには毎回同じ値が返るので、画面 2 での失敗はデータではなくアプリの問題です。
手動で、Proxy Mail QA for Chrome を使って
バージョン 0.9.0 以降では、いつもどおりメールフィールドのボタンからサインアップを始めます。その後の各画面で:
- Fill this step:画面の最初の空のフィールドにあるボタンで、同じテスト用アカウントとそのカスタムフィールド、推測値で入力します。カードには「Filled step 2 of 3」のように入力内容が表示されます。
- Alt+Shift+F でも同じことができ、ポップアップの Fill this page も使えます。ページから始めたサインアップでも、ポップアップから始めたサインアップでも使えます。
- 推測されたフィールドや空のフィールドの横にある Teach で、入れる値をプロジェクトの全員のために保存します。
サインアップが常に複数の画面にわたるサイトでは、「次へ」または「続行」を押した後に Proxy Mail QA for Chrome が新しい画面がサインアップの一部かどうかを尋ねたときに、この画面を保持 を選んでください。ボタンの文言は9つの言語で読み取られ、アカウントを作成 の後や支払い画面では尋ねません。サイトの変更をリードだけが行える場合、「この画面を保持」はまずプロジェクトのリードに確認します。または Project settings → Sites → Sign-up goes over several screens をオンにしてください。そうすると、「次へ」を押した後に表示される新しい画面はそれぞれ自動で入力され、先に進む前に確認できるようカードが開きます。「次へ」を押したり送信したりすることはなく、ボタンを押さずに表示されたフォームには入力せず、10画面または入力のない状態が15分続くと停止します。
確認する内容
- サインアップのすべての画面が同じアカウントに属しています。最後の画面の名前は最初の画面と一致します。
- 後の画面にある必須の質問は省略できず、アプリがそのことをはっきり伝えます。
- 戻ると入力内容が残り、戻った後に「次へ」を押しても 2 つ目のアカウントは作られない。
- 確認メールは、どの画面が送信しても1回だけ届きます。2通目が届いた場合は
count_emailsまたはcountEmailsで検出できます。 - 後の画面の回答は保持されます。アプリ内のアカウントや、それを使うウェルカムメールに表示されます。
カスタムフィールド では、フィールドの認識方法、推測される内容、入力されない内容を説明しています。