自己改善ループに必要なもの
エージェントが自分の作業を改善できるのは、次の 4 つがそろったときです。
- 行動できること: コードを書き、アプリを実行し、フォームに入力する。
- 結果を観察できること。自分の出力だけでは不十分です。「コードがコンパイルできた」は「ユーザーがメールを受け取った」とは違います。
- 比較できること。今回の試行を前回と比べ、変更が役立ったかを判断できること。
- 学んだことを残せること。次の試行や次のセッションが、より先から始められるようにすること。
エージェントは 1 つ目をすでにうまくこなします。残りの 3 つはツール次第です。
サインアップでループが途切れる理由
- 結果は受信トレイの中にあります。 エージェントはフォームを送信し、「メールを確認してください」と表示されるのを見ます。何かが送信されたか、リンクの行き先はどこか、コードが使えるかは、どれも確認できません。
- そのため、成功を早く報告しすぎます。 「サインアップを実装しました」は、通常フォームが送信できることしか意味しません。エージェントにもあなたにも、どちらとも判断する根拠がありません。
- 架空のアドレスではフローを完了できません。自分のアドレスは 1 回しか使えません。
- 何も引き継がれません。 前回の実行記録がなければ、エージェントは修正の効果と偶然を区別できません。
Proxy Mail QA を使ったループ
すべてのステップはエージェントが行います。Proxy Mail QA は確認に使うツールです。
| ステップ | エージェント | 使うツール |
|---|---|---|
| 行動 | フローを作成または変更し、サインアップページを開く | 自分のエディターとブラウザ |
| フォーム用のアドレス、ペルソナ、パスワードを取得する | form_values または create_address |
|
| 観察 | 送信後、コードやリンクを待つ | wait_for_code, wait_for_link |
| 何も届かない理由を尋ねる | check_delivery |
|
| メールの送信、リンク、有効期限、サイズをチェックする | check_email, count_emails |
|
| 比較 | セッションを記録し、前回からの変化を読む | start_run, finish_run |
| 保存 | 同意を得たうえで、フォームについて学んだことを保存する | save_custom_field, save_signup_screen |
最初の試行は、たとえば次のように進みます。
- エージェントがメール認証を追加し、新しいテスト用アドレスでサインアップします。
- 待っても何も届きません。配信チェックによると、メールプロバイダーは認証済みのアドレスにしか送信しません。エージェントは作業が終わっていないこと、そしてその理由を知ります。
- プロバイダーの設定を修正して再実行します。メールは 4 秒で届きますが、チェックによるとリンクの行き先は
localhostです。 - サイト URL を修正して再実行します。リンクでステージングが開き、アカウントが認証され、メールは 1 通だけ届きました。
- 実行のレポートには 3 回の試行がすべて表示されます。エージェントは何を変更したかを伝え、その根拠を示します。
受信トレイがなければ、エージェントはステップ 1 の後で止まり、完了したと言っていたでしょう。
エージェントが改善する 3 つのもの
このセッションでの作業。 各チェックは何が失敗したか、その理由を返すので、エージェントの次の変更は的を絞ったものになります。これが上記のループです。
以降のすべてのセッションのための、プロジェクトのセットアップ。 会社の規模のように入力できない項目に出会ったら、エージェントはあなたに尋ね、その回答をカスタムフィールドとして保存できます。フォームが複数の画面にわたるとわかったら、それを保存できます。次のエージェントや、Chrome 拡張機能を使う次の人は、最初からフォームに正しく入力できます。エージェントがこれらを変更するのは、あなたが依頼または同意した場合だけです。
自分自身への指示。 セッションの最後に、学んだことを毎回最初に読むファイル (CLAUDE.md、AGENTS.md、またはスキル) に書くよう、エージェントに依頼してください。たとえば「ステージングのメールプロバイダーはドメインの認証が必要」「リセットリンクは 10 分で期限切れになるので、すぐに開く」などです。ここが「再帰的」という言葉に最も近い部分です。エージェントは 1 回の実行で得た根拠をもとに、次の実行での進め方を変えます。
After each change to sign-up, login or password reset, run the auth regression pack onstaging with Proxy Mail QA. If the report shows a new failure, fix it and run again.When it passes, add one line to AGENTS.md for anything you learnt that the next sessionshould know, and show me the report.改善したかどうかを知る
ループには指標が必要です。認証リグレッションパック は毎回同じチェックを行います。サインアップ、使用済みリンクを 2 回開く、置き換えられたリセットリンク、招待です。レポートの最後には、前回までの実行からの変化が示されます。メールの遅延、余分なメール、新たな失敗や断続的な失敗、新たに失敗したチェック、新しい送信者やリンク先サイトなどです。
これによりエージェントは変更前と変更後を比べられ、あなたはエージェントが自分について書いたものではない資料を読めます。
人がバグを報告した場合も、同じループがその報告から始まります。エージェントでサインアップとログインのバグ報告をトリアージする を参照してください。
あなたが判断すること
- Proxy Mail QA はモデルもコードも変更しません。 改善するのはエージェントであり、間違いもエージェントのものです。要約だけでなく、レポートを読んでください。
- テスト用ビルドのみ。 ループは開発サイト、ステージングサイト、プレビューサイトで実行します。本番サイトや実際のユーザーのアカウントでは決して実行しません。
- 残る変更にはあなたの承認が必要です。 カスタムフィールド、サイト、サインアップ画面はプロジェクトの全員に影響します。
- レポートにメール本文は含まれません。 アドレス、所要時間、チェック結果、各リンクのサイトを保存するので、プルリクエストに載せられます。
- メールのみ対象です。 SMS で送信されるコードは対象外です。