# 支払い方法の A/B テスト

ダッシュボードで新しい支払い方法の A/B テストを開始します。

A/B テストを使用すると、新しい決済手段をすべての顧客に提供する前に、それらを一定割合の顧客に提供した場合の影響を測定できます。A/B テストはコードを作成せずに実行できます。

A/B テストは以下の目的で使用します。

- Klarna、Affirm、Afterpay などの後払いの支払い方法を、顧客全体に導入する前に一部の顧客でテストします。
- 特定の支払い方法の最低購入金額を設定するなど、ターゲット設定ルールの影響を測定します。
- 新しい支払い方法を徐々に提供し、顧客の割合を増やしていきます。

## Before you begin

A/Bテストを実行するには、導入で[動的な決済手段](https://docs.stripe.com/payments/payment-methods/dynamic-payment-methods.md?payment-ui=payment-element#customization-features)を使用する必要があります。A/B テストは、Payment Intents API で [Payment Element Web](https://docs.stripe.com/payments/payment-element.md) を使用するか、決済モードで [チェックアウト](https://docs.stripe.com/payments/checkout.md) を使用する場合に使用できます。テストできる決済手段のリストについては、[サポートされている決済手段](https://docs.stripe.com/payments/a-b-testing.md#supportability)をご覧ください。

## A/B 実験を開始する
![実験を作成ボタンが表示されているカスタムの設定ページ](https://b.stripecdn.com/docs-statics-srv/assets/create-experiment.93f437615e14f46700ee3f66cfafb367.png)

1. Stripe ダッシュボードで、[支払い方法の設定](https://dashboard.stripe.com/settings/payment_methods)を開き、**実験を作成する**をクリックします。
   - Stripe ダッシュボードでは、実験の開始、停止、管理のみ実行できます (API オプションは提供されていません)。
   - 複数の支払い方法を設定している場合は、実験を実行したい設定を選択してから、**実験を作成する**をクリックします。一度に実行できる実験は 1 つの設定につき 1 つのみです。
2. 実験に含める支払い方法を選択します。
3. (任意) ある決済手段を対象にするタイミングを制御するための追加のフィルターとして、取引額や取引通貨といったカスタムの[決済手段のルール](https://docs.stripe.com/payments/payment-method-rules.md)を追加します。スタンドアロンの機能を使用して、カスタムルールを作成することもできます。
4. 実験に名前を指定して、トリートメントグループに含めるトラフィックの割合を選択します。
   - **トラフィックの配分**: デフォルトでは、スピーディーな結果の受け取り (統計的に有意義な結果には時間がかかり、割合が低くなる) と、実験のパフォーマンスが低い場合のリスク管理のバランスを保つため、50% を推奨しています。リスクの許容度と実験の目標に基づいて、より少ないまたはより高い割合を選択できます。トリートメント/コントロールを 50/50 に均等に分割すると、サンプルサイズが 8 万の場合は、購入完了率の 100 BPS の変化を 5% の有意水準で検出することが可能です。
   - **実験のランダム化**: Stripe は、[UserAgent](https://en.wikipedia.org/wiki/User-Agent_header)、IP アドレス、日付などの一意の識別子に基づいて顧客のセッションをランダム化します。その結果、特定の日付について、個々の顧客に対して常に同じ処理またはコントロールの決済手段オプションが表示されます。ページの更新など、二重カウントの発生を避けるために、Stripe では一意の各ユーザーのセッションを日次で集計します。
5. 実験をレビューして開始します。(実験を開始する準備ができていない場合は、実験を下書きとして保存できます)。
   > 実験を開始する際、処理群のトラフィック割り当ての割合は変更できますが、対照群または処理群の支払い方法を有効または無効にすることはできません。実験の開始後に支払い方法の設定を変更するには、まず実験を終了する必要があります。
6. (推奨) 後払い (BNPL) の決済手段をテストする場合は、[Payment Method Messaging Element](https://docs.stripe.com/elements/payment-method-messaging.md) をインストールすることをお勧めします。この埋め込み UI コンポーネントを使用すると、商品ページ、カートページ、支払いページで直接、利用可能な決済オプションが顧客に表示されるようになります。

## A/B 実験を管理および終了する
![実験を管理する設定ページ](https://b.stripecdn.com/docs-statics-srv/assets/manage-experiment.25dc48d02e880cae44369eb82eaab30c.png)

1. 支払い方法の設定からアクティブな実験と過去の実験をすべて表示するには、オーバーフローメニュー (⋯) をクリックして、**実験を管理**を選択します。
2. テストの有効期間中に実行できるアクションは 4 つあります。Connect のシステムで**処理設定**を選択すると、処理中の支払い方法がすべてのユーザーに対して有効になります。
   - **トラフィックの配分を調整**:トリートメントグループに割り当てられるトラフィックの割合を 1% ～ 99% の範囲で調整します。
   - **実験レポートを表示**
   - **実験を一時停止または再開**: 一時停止すると、顧客はコントロールの決済手段のみを利用でき、実験データはレポートでは確定されません。
   - **実験を終了**: 実験の終了時に、トリートメント設定を採用することも、以前の (コントロール) 設定に戻すこともできます。実験が 180 日を超える場合は、Stripe がお客様に代わって終了し、管理設定を有効にします。

## 実験結果を理解する

実験を開始したら、 Stripe ダッシュボードで進捗状況を確認します。
![実験結果が表示されているページ](https://b.stripecdn.com/docs-statics-srv/assets/experiment-report.0d05f61a45c9a97306c62ffa616d4780.png)

A/B テストでは、次の 2 つの条件を満たすと実験完了と見なされます。

- セッションあたりの平均売上は[統計的に重要](https://en.wikipedia.org/wiki/Statistical_significance)です。Stripe では、ランダムなケースによる結果である可能性が 5% 未満である場合、その結果を統計的に重要であると見なしています。[実験方法](https://docs.stripe.com/payments/a-b-testing.md#experiment-methodology)をご覧ください。
- 実験では十分なセッションが発生しました。これは、実験作成時に設定した、トリートメント対コントロールの割合に基づく動的な数値です。

実験結果の指標には以下が含まれます。

| 結果指標 | 説明 |
| --- | --- |
| **セッションあたり平均収入額** | セッションあたりの平均収入額は、総収入をセッションの合計数で割ることで求められます。これは、処理群と対照群のセッションあたりの収益の差を示し、実験の全体的な結果をまとめたものです。セッションの合計数には、購入に至ったセッションと購入に至らなかったセッションの両方が含まれます。支払い方法によって購入完了率と平均注文額に大きなばらつきが生じるため、テストの全体的な成功を判断する際の指標として、セッションあたり平均収入額の指標を使用することをおすすめします。 |
| **セッション 100% 時の収入額** | 処理群の支払い方法が処理対照率 100% のトラフィックで提供された場合の予測総収入。 |
| **総収入** | 実際の収益額 (全購入金額)。この金額は、主に処理対照率の選択に影響されます。 |
| **購入完了率** | 購入完了率は、購入完了のセッション数を対象となるセッションの合計数で割ったものです。対象となるセッションは次のように定義されます。
- 1 つ以上の処理の決済手段が適格であった (例: 顧客の所在地が、その決済手段が受け付けられる国だった)
- 支払いインターフェイス (Payment Element または Checkout) が顧客に表示された |
| **平均注文額** | 平均注文額とは、顧客が購入を行ったセッションでの平均購入額です。 |

### 統計的有意性

概要テーブルのインジケーターを使用して、統計的有意性を把握します。実験が、必要なセッションの推定値の 80% 以上に達すると、指標は緑色または黄色で差異を示します。

インジケーターには、以下の 3 つのタイプがあります。

- グレーのインジケーターは、実験において、統計的有意性を確実に判断するのに十分なセッションが発生していないことを示します。
- 緑色のインジケーターは、トリートメントグループとコントロールグループの間で統計的に有意な増加が見られることを示します。
- 黄色のインジケーターは、トリートメントグループとコントロールグループの間で統計的に有意な減少が見られることを示します。
![統計的有意性がないことを示すグレーのバッジ。](https://b.stripecdn.com/docs-statics-srv/assets/gray-indicator.5480d1fb0eab4d6a046c1bd10b5de350.png)

統計的有意性に達する前
![統計上有意性を示す緑色のバッジ。](https://b.stripecdn.com/docs-statics-srv/assets/green-indicator.2c1094ab3416c65174f86d0c24b27089.png)

統計的有意性に達した後

### さらなる分析を行う

レポートページから未加工データをダウンロードして、実験結果をさらに分析できます。

ページの更新などのインスタンスの二重カウントを避けるため、`experiment_session_id` ごとにグループ化することをお勧めします。この方法は、A/B テストレポートで、セッションあたりの平均売上、購入完了率、平均注文額が計算される方法と合致しています。

| ディメンション | 説明 |
| --- | --- |
| `occurred_at_day` | セッションの日 (‘yyyyMMdd’)。 |
| `experiment_session_id` | 各実験セッションに Stripe が生成した一意の ID。セッションは UserAgent、IP アドレス、および日付に基づきます。 |
| `is_treatment` | 結果がトリートメント (1) またはコントロール (0) のどちらとして割り当てられたかを示すブール値。 |
| `converted` | このセッションが購入完了につながった (1)、あるいはつながらなかった (0) ことを示すブール値。 |
| `payment_method` | 購入に使用された実際の支払い方法。 |
| `converted_transaction_count` | ユーザーセッションにおける個々の取引レベルの購入完了数。通常、この値は 1 または 0 ですが、同じ顧客が 1 日に複数の購入を行っている場合には、同じセッション内で複数の購入完了が発生することがあります。 |
| `rendered_transaction_count` | ユーザーセッションにおける個々の取引レベルのレンダリング数。顧客が購入ページに複数回アクセスした場合 (再読み込みした場合や同日中に再度アクセスした場合など)、1 より大きい値になることがあります。 |
| `amount_capturable` | 取引合計額。 |
| `currency` | この取引で使用される通貨のタイプ (USD、GBP、EUR など)。 |
| `is_eligible_session` | このセッションが A/B テストの対象であったか (1)、対象外 (0) であったかを示すブール値。このフィールドが 0 を返す場合 (たとえば、トリートメントの支払い方法が対象でなかった場合)、そのセッションは、平均注文額や購入完了率などの報告対象のメトリクスに含まれません。 |
| `buyer_countries` | ユーザーセッションに関連付けられている 1 つまたは複数の国。ほとんどの場合は 1 カ国ですが、顧客が旅行中の場合や、ブラウザーの位置情報設定を変更した場合は複数になる可能性があります。 |
| `control_payment_method_types` | このセッションで表示対象になった、コントロールの支払い方法のリスト。 |
| `treatment_payment_method_types` | このセッションで表示対象となったトリートメントの支払い方法のリスト。 |
| `rendered_payment_methods` | ユーザーセッションで利用可能だった支払い方法のリスト。この中には、‘show more’ セレクターを選択したときに表示されるオーバーフローの支払い方法が含まれます。 |
| `visible_payment_methods` | ユーザーセッションで表示された支払い方法のリスト。 (‘show more’ で表示されるオーバーフローの支払い方法は含まれない)。 |
| `connected_account_id` | セッションに関連付けられた連結アカウントの ID。 |

### 実験手法

A/B テストでは、トリートメントとコントロールの結果を比較して、[平均処置効果](https://en.wikipedia.org/wiki/Average_treatment_effect) (ATE) を測定します。実験が統計的に有意と見なされるのは、その結果が偶然によるものである可能性が 5% 未満であるときです。統計学的には、[Z 検定](https://en.wikipedia.org/wiki/Z-test)を使用して、トリートメントグループとコントロールグループの間の差を水準 5% で計算します。これは、その差の 95% 信頼区間に 0 が含まれているかどうかを確認するのと機械的に同じです。影響を検出するのに必要なセッション数を判断するため、選択されたトリートメントとコントロールの分割割合に基づいて検出力の計算が実行されます。この検出力の計算では、有意水準 5% でトリートメントとコントロールの間の 1% の差を検出するのに 80% の検出力を示すために必要なセッション数が返されます。

> Stripe はこの A/B テストサービスを貴社に提供するために、貴社の取引データから顧客のアクティビティーに関する分析情報を取得する必要があります。Stripe では、決済フローのいずれかのページで決済手段が表示されたユーザーが手続きを進めて決済フローを完了した時点を特定するために、顧客の IP アドレスとユーザーエージェントの情報を使用します。貴社と貴社の顧客に適用される法律によっては、貴社に代わってこの作業を実施するように Stripe に指示することで、貴社にて、開示事項の提供やこの作業に対する顧客の同意の収集などの手続きが必要になる場合があります。適用されるデータ保護法に基づくすべての義務を遵守していることを確認するには、弁護士にご相談ください。

## サポートされている支払い方法

### 組み込みオプション

A/Bテストを使用するには、導入で[動的な決済手段](https://docs.stripe.com/payments/payment-methods/dynamic-payment-methods.md?payment-ui=payment-element#customization-features)を使用する必要があります。

以下のいずれかを使用すると、A/B テストにアクセスできます。

- Payment Intents API を使用した [Payment Element Web](https://docs.stripe.com/payments/payment-element.md)
- 決済モードの [チェックアウト](https://docs.stripe.com/payments/Checkout.md)

### サポートされている支払い方法

|  |
| **支払い方法** | **Payment Element** | (Connect)**Payment Element** 1 |
| [ACH ダイレクトデビット](https://docs.stripe.com/payments/ach-direct-debit.md) | ✓ サポート対象 | - サポート対象外 |
| [ACSS デビット](https://docs.stripe.com/payments/acss-debit.md) | ✓ サポート対象 | - サポート対象外 |
| [Affirm](https://docs.stripe.com/payments/affirm.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Afterpay (Clearpay)](https://docs.stripe.com/payments/afterpay-clearpay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Alipay](https://docs.stripe.com/payments/alipay.md) | ✓ サポート対象 | - サポート対象外 |
| [Amazon Pay](https://docs.stripe.com/payments/amazon-pay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Apple Pay](https://docs.stripe.com/apple-pay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [BECS ダイレクトデビット](https://docs.stripe.com/payments/au-becs-debit.md) | ✓ サポート対象 | - サポート対象外 |
| [Bacs ダイレクトデビット](https://docs.stripe.com/payments/bacs-debit/accept-a-payment.md) | ✓ サポート対象 | - サポート対象外 |
| [Bancontact](https://docs.stripe.com/payments/bancontact.md) | ✓ サポート対象 | ✓ サポート対象 |
| [BLIK](https://docs.stripe.com/payments/blik.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Boleto](https://docs.stripe.com/payments/boleto.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Cash App Pay](https://docs.stripe.com/payments/cash-app-pay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [暗号資産](https://docs.stripe.com/crypto.md) | ✓ サポート対象 | ✓ サポート対象 |
| [EPS](https://docs.stripe.com/payments/eps.md) | ✓ サポート対象 | ✓ サポート対象 |
| [FPX](https://docs.stripe.com/payments/fpx.md) | ✓ サポート対象 | - サポート対象外 |
| [Giropay](https://docs.stripe.com/payments/giropay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Google Pay](https://docs.stripe.com/google-pay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [GrabPay](https://docs.stripe.com/payments/grabpay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [iDEAL](https://docs.stripe.com/payments/ideal.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Klarna](https://docs.stripe.com/payments/klarna.md) | ✓ サポート対象 | ✓ サポート対象 |
| [コンビニ決済](https://docs.stripe.com/payments/konbini.md) | ✓ サポート対象 | - サポート対象外 |
| [MobilePay](https://docs.stripe.com/payments/mobilepay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [OXXO](https://docs.stripe.com/payments/oxxo.md) | ✓ サポート対象 | ✓ サポート対象 |
| [P24](https://docs.stripe.com/payments/p24.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Pay by Bank](https://docs.stripe.com/payments/pay-by-bank.md) | ✓ サポート対象 | ✓ サポート対象 |
| [PayNow](https://docs.stripe.com/payments/paynow.md) | ✓ サポート対象 | ✓ サポート対象 |
| [PromptPay](https://docs.stripe.com/payments/promptpay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [Revolut Pay](https://docs.stripe.com/payments/revolut-pay.md) | ✓ サポート対象 | ✓ サポート対象 |
| [SEPA デビット](https://docs.stripe.com/payments/sepa-debit.md) | ✓ サポート対象 | - サポート対象外 |
| [Swish](https://docs.stripe.com/payments/swish.md) | ✓ サポート対象 | ✓ サポート対象 |
| [TWINT](https://docs.stripe.com/payments/twint.md) | ✓ サポート対象 | ✓ サポート対象 |
| [WeChat Pay](https://docs.stripe.com/payments/wechat-pay.md) | ✓ サポート対象 | - サポート対象外 |
| [Zip](https://docs.stripe.com/payments/zip.md) | ✓ サポート対象 | ✓ サポート対象 |

1 一部の支払い方法では、その支払い方法の利用を可能にするために、あらかじめユーザーが Stripe 以外で操作を行う (本人確認、利用規約への同意など) 必要があります。ダイレクトユーザーはこのような操作を直接実行できるため、Stripe はこれらの支払い方法での A/B テストに対応しています。一方で、Connect ユーザーは連結アカウントの代わりに操作を実行できないため (対象の支払い方法の利用対象になる連結アカウントはいないか、ごくわずかになります)、Stripe はこれらの支払い方法での A/B テストに対応していません。

### Connect の分割テスト (Connect)

A/B テストは Connect プラットフォームで利用できますが、個々の連結アカウントでは利用できません。 A/B テストを設定すると、コントロールとトリートメントに選択した支払い方法が、対象となるすべての連結アカウントに適用されます。特定の連結アカウントをオプトアウトするには、実験作成プロセス時にアカウント ID のリストを指定します。

プラットフォームは、連結アカウントが各自の支払い方法設定をカスタマイズして、特定の支払い方法を有効または無効にできるようにすることができます。連結アカウントが、トリートメントまたはコントロールグループに含まれる支払い方法を有効または無効にする場合、連結アカウントの設定がトリートメントセッションとコントロールセッションの両方に適用されます。たとえば、プラットフォームが Klarna を有効にして実験を実行し、連結アカウントが Klarna を無効にした場合、 Klarna が連結アカウントのユーザーに選択可能な支払い方法として表示されることはありません。