A/B-Test einer Zahlungsmethode
Starten Sie einen A/B-Test für eine neue Zahlungsmethode im Dashboard.
A/B-Tests ermöglichen es Ihnen, die Auswirkungen des Angebots neuer Zahlungsmethoden für einen Prozentsatz der Käufer/innen zu messen, bevor Sie diese allen Ihren Kundinnen und Kunden anbieten. Sie können A/B-Tests auch ausführen, ohne Code zu schreiben.
Verwenden Sie A/B-Tests, um:
- Testen Sie bei einem Teil Ihrer Kundschaft, wie bei diesen die Zahlungsmethoden des Typs „Jetzt kaufen, später bezahlen“, also Klarna, Affirm und Afterpay ankommen, bevor Sie diese für alle Ihre Kundinnen/Kunden aktivieren.
- Messen Sie die Auswirkungen von Targeting-Regeln, wie z. B. das Festlegen eines Mindestkaufpreises für bestimmte Zahlungsmethoden.
- Führen Sie eine neue Zahlungsmethode schrittweise für einen wachsenden Prozentsatz Ihrer Kundschaft ein.
Sie müssen das Payment Element Web oder Checkout mit dynamischen Zahlungsmethoden verwenden, um einen A/B-Test durchzuführen. Eine Liste der Zahlungsmethoden, die Sie testen können, finden Sie unter Unterstützte Zahlungsmethoden.
Starten Sie Ihr A/B-Experiment
- Öffnen Sie im Stripe die Einstellungen für die Zahlungsmethode und klicken Sie dann auf Experiment erstellen.
- Sie können ein Experiment nur über das Stripe Dashboard starten, stoppen und verwalten (es gibt keine API-Option).
- Wenn Sie über mehr als eine Zahlungsmethodenkonfiguration verfügen, wählen Sie die Konfiguration aus, für die Sie ein Experiment ausführen möchten, bevor Sie auf Experiment erstellen klicken. Sie können pro Konfiguration jeweils nur ein Experiment ausführen.
- Wählen Sie aus, welche Zahlungsmethoden Sie in das Experiment einfügen möchten.
- (Optional) Fügen Sie benutzerdefinierte Zahlungsmethodenregeln wie den Transaktionsbetrag oder die Transaktionswährung als zusätzliche Filter hinzu, um zu steuern, wann mit einer Zahlungsmethode bezahlt werden kann. Sie können auch benutzerdefinierte Regeln mit eigenständiger Funktion erstellen.
- Benennen Sie Ihr Experiment und wählen Sie den Prozentsatz des Datenverkehrs aus, der in Ihre Behandlungsgruppe aufgenommen werden soll.
- Zuordnung des Datenverkehrs: Unsere Standardempfehlung liegt bei 50 %, um ein Gleichgewicht zwischen schnellen Ergebnissen (statistisch signifikante Ergebnisse erhält man bei einem niedrigeren Prozentsatz langsamer) und dem Risikomanagement bei schlechten Ergebnissen während des Experiments herzustellen. Sie können sich für einen kleineren oder größeren Prozentsatz entscheiden, das dieser ganz auf Ihrer eigenen Risikobereitschaft und Ihren Experimentzielen basiert. Mit einer gleichmäßigen 50/50-Aufteilung zwischen Behandlung und Kontrolle ist eine Stichprobengröße von 80.000 Käufersitzungen aussagekräftig, sodass Sie eine Änderung der Konversionsrate um 100 Basispunkte bei einem Signifikanzniveau von 5 % erkennen können.
- Experimentelle Randomisierung: Stripe randomisiert Käufersitzungen basierend auf einer eindeutigen Kennung, die den UserAgent, die IP-Adresse und das Datum enthält. Infolgedessen sieht ein/e einzelne/r Käufer/in die gleichen Behandlungs- oder Steuerungsoptionen für einen bestimmten Tag. Um Doppelzählungen, wie zum Beispiel Seitenaktualisierungen, zu vermeiden, aggregieren wir täglich Sitzungen für jede/n einzelne/n Nutzer/in.
- Überprüfen und starten Sie Ihr Experiment. (Sie können ein Experiment als Entwurf speichern, wenn Sie noch nicht bereit sind, es zu starten.)
Notiz
Wenn Sie ein Experiment beginnen, können Sie den Prozentsatz der Datenverkehrszuweisung für die Behandlungsgruppe ändern, aber Sie können die Zahlungsmethoden für Ihre Kontroll- oder Behandlungsgruppen nicht aktivieren oder deaktivieren. Um Änderungen an den Zahlungsmethodeneinstellungen vorzunehmen, nachdem ein Experiment gestartet wurde, müssen Sie das Experiment zuerst beenden.
- (Empfohlen) Wenn Sie die Zahlungsmethoden vom Typ „Jetzt kaufen, später bezahlen“ testen, empfehlen wir Ihnen, das Payment Method Messaging Element zu installieren. Dies ist eine einbettbare Komponente der Nutzeroberfläche, die Ihre Kundinnen/Kunden direkt auf Ihren Produkt-, Warenkorb- oder Zahlungsseiten darüber informiert, welche Zahlungsoptionen ihnen beim Bezahlvorgang zur Verfügung stehen.
A/B-Experiment verwalten und beenden
- Um alle aktiven und vergangenen Experimente zu Ihren Zahlungsmethodeneinstellungen anzuzeigen, klicken Sie auf das Überlaufmenü () und wählen Sie dann Experimente verwalten.
- Es gibt vier Aktionen, die Sie ausführen können, während ein Experiment aktiv ist. Wenn Sie über eine Connect-Integration verfügen und Behandlungskonfiguration auswählen, wird jede neue Zahlungsmethode in Behandlung für alle Nutzer/innen aktiviert.
- Zuordnung des Datenverkehrs anpassen: Passen Sie den Prozentsatz des Datenverkehrs an, der Ihrer Behandlungsgruppe zugeordnet ist, der zwischen 1 % und 99 % liegt.
- Experimentbericht anzeigen.
- Pausieren oder Fortsetzen eines Experiments: Wenn es pausiert ist, stehen Käufern und Käuferinnen nur Ihre Kontrollzahlungsmethoden zur Verfügung, und die Experimentdaten werden nicht in Ihrem Bericht erfasst.
- Experiment beenden: Wenn das Experiment endet, können Sie entweder Ihre Behandlungseinstellungen übernehmen oder zu Ihren vorherigen (Kontroll-) Einstellungen zurückkehren. Wenn Ihr Experiment länger als 180 Tage läuft, beenden wir es in Ihrem Auftrag und aktivieren Ihre Kontrolleinstellungen.
Die Ergebnisse Ihres Experiments verstehen
Nachdem Ihr Experiment begonnen hat, können Sie den Fortschritt im Stripe Dashboard einsehen.
A/B-Tests betrachten ein Experiment als abgeschlossen, wenn zwei Bedingungen erfüllt sind:
- Der durchschnittliche Umsatz pro Sitzung ist statistisch signifikant. Wir betrachten Ergebnisse als statistisch signifikant, wenn eine Wahrscheinlichkeit von weniger als 5 % besteht, dass das Ergebnis auf einen Zufall zurückzuführen ist. Siehe Experimentmethodik.
- Das Experiment hat genügend Sitzungen angesammelt. Hierbei handelt es sich um eine dynamische Zahl, die auf dem Prozentsatz der Behandlung im Vergleich zur Kontrolle basiert, den Sie bei der Erstellung des Experiments festgelegt haben.
Zu den Messgrößen für die Experimentergebnisse gehören:
| Ergebnismetrik | Beschreibung |
|---|---|
| Durchschnittlicher Umsatz pro Sitzung | Der durchschnittliche Umsatz pro Sitzung ist der Gesamtumsatz geteilt durch die Gesamtzahl der Sitzungen. Es zeigt den Unterschied beim Umsatz pro Sitzung zwischen der Behandlungs- und der Kontrollgruppe und ist eine Zusammenfassung der Gesamtergebnisse Ihres Experiments. Die Gesamtzahl der Sitzungen umfasst sowohl Sitzungen, die zu einem Kauf geführt haben, als auch Sitzungen, die nicht zu einem Kauf geführt haben. Aufgrund der erheblichen Unterschiede bei den Konversionsraten und den durchschnittlichen Bestellwerten je nach Zahlungsmethode empfehlen wir, die Metrik „Durchschnittlicher Umsatz pro Sitzung“ als Richtwert bei der Bestimmung des Gesamterfolgs des Experiments zu verwenden. |
| Umsatz bei 100 % der Sitzungen | Prognostizierter Gesamtumsatz, wenn die Zahlungsmethoden der Behandlungsgruppe für 100 % des Datenverkehrs für Behandlung und Kontrolle angeboten würden. |
| Bruttoumsatz | Tatsächlicher Umsatz (Gesamtkaufbetrag). Dieser Betrag wird hauptsächlich durch die prozentuale Auswahl Ihrer Behandlung/Kontrolle beeinflusst. |
| Konversionsrate | Die Konversionsrate ist die Anzahl der Sitzungen mit einem Kauf geteilt durch die Gesamtzahl der berechtigten Sitzungen. Berechtigte Sitzungen sind wie folgt definiert:
|
| Durchschnittlicher Bestellwert | Der durchschnittliche Bestellwert ist der durchschnittliche Kaufbetrag für Sitzungen, in denen Käufer/innen einen Kauf getätigt haben. |
Statistische Bedeutung
Verwenden Sie die Indikatoren in den Übersichtstabellen, um die statistische Bedeutung zu verstehen. Die Metriken zeigen einen grünen oder gelben Unterschied an, wenn das Experiment mindestens 80 % der geschätzten erforderlichen Sitzungen erreicht hat.
Es gibt drei Arten von Indikatoren:
- Graue Indikatoren bedeuten, dass Ihr Experiment nicht genügend Sitzungen angesammelt hat, um die statistische Bedeutung zuverlässig zu bestimmen.
- Grüne Indikatoren zeigen einen statistisch bedeutenden Anstieg zwischen der Behandlungs- und der Kontrollgruppe.
- Gelbe Indikatoren zeigen eine statistisch bedeutende Abnahme zwischen der Behandlungs- und der Kontrollgruppe.
Vor Erreichen der statistischen Bedeutung
Nach Erreichen der statistischen Bedeutung
Zusätzliche Analyse durchführen
Sie können Rohdaten von der Berichtsseite herunterladen, um Ihre Versuchsergebnisse weiter zu analysieren.
Wir empfehlen eine Gruppierung nach experiment_, um Doppelzählsitzungen für Instanzen wie eine Seitenaktualisierung zu vermeiden. Dies steht im Einklang mit der Berechnung des durchschnittlichen Umsatzes pro Sitzung, der Konversionsrate und des durchschnittlichen Bestellwerts im A/B-Testbericht.
| Dimension | Beschreibung |
|---|---|
occurred_ | Der Tag (‘yyyyMMdd’) der Sitzung. |
experiment_ | Eine eindeutige, von Stripe generierte ID für jede Experimentsitzung. Eine Sitzung basiert auf dem UserAgent, der IP-Adresse und dem Datum. |
is_ | Ein boolescher Wert, der angibt, ob das Ergebnis als Behandlung (1) oder Kontrolle (0) zugewiesen wurde. |
converted | Ein Boolescher Wert, der angibt, ob diese Sitzung konvertiert wurde (1) oder nicht (0). |
payment_ | Die tatsächlich für den Kauf verwendete Zahlungsmethode. |
converted_ | Die Anzahl der einzelnen Konversionen auf Transaktionsebene in der Nutzersitzung. Normalerweise ist dieser Wert entweder 1 oder 0. Es können jedoch mehrere Konversionen innerhalb derselben Sitzung auftreten, wenn derselbe Käufer/dieselbe Käuferin mehrere Einkäufe am gleichen Tag tätigt. |
rendered_ | Die Anzahl der einzelnen Wiedergaben auf Transaktionsebene in der Nutzersitzung. Dies kann eine Zahl >1 sein, wenn ein Käufer/eine Käuferin die Einkaufsseite mehrmals besucht (zum Beispiel neu lädt oder später am Tag erneut aufruft). |
amount_ | Der Gesamtbetrag der Transaktion. |
currency | Der in dieser Transaktion verwendete Währungstyp (zum Beispiel USD, GBP, EUR). |
is_ | Ein Boolescher Wert, der angibt, ob diese Sitzung für A/B-Tests geeignet (1) oder nicht geeignet (0) war. Wenn dieses Feld eine 0 zurückgibt (beispielsweise waren keine Zahlungsmethoden für Behandlungen zulässig), ist diese Sitzung nicht in den gemeldeten Kennzahlen wie dem durchschnittlichen Bestellwert oder der Konversionsrate enthalten. |
buyer_ | Das Land/die Länder, das/die mit der Nutzersitzung verknüpft ist/sind. In den meisten Fällen ist dies ein einzelnes Land, aber es können mehrere sein, wenn der/die Käufer/in reist oder die Standorteinstellungen seines/ihres Browsers ändert. |
control_ | Die Liste der Steuerungszahlungsmethoden, die in dieser Sitzung angezeigt werden können. |
treatment_ | Die Liste der Zahlungsmethoden für die Behandlung, die in dieser Sitzung angezeigt werden können. |
rendered_ | Die Liste der Zahlungsmethoden, die in der Nutzersitzung verfügbar waren, einschließlich derjenigen, die hinter einer Auswahl des Typs „Mehr anzeigen“ verborgen sind. |
visible_ | Die Liste der Zahlungsmethoden, die in der Nutzersitzung sichtbar waren (nicht hinter einem Überlauf verborgen, wie zum Beispiel „mehr anzeigen“). |
connected_ | Die mit der Sitzung verknüpfte ID des verbundenen Kontos. |
Experimentmethodik
A/B-Tests messen den durchschnittlichen Behandlungseffekt (ATE), indem Behandlungs- und Kontrollergebnisse verglichen werden. Wir betrachten ein Experiment als statistisch bedeutend, wenn die Wahrscheinlichkeit weniger als 5 % beträgt, dass das Ergebnis auf einen Zufall zurückzuführen ist. Statistisch gesehen verwenden wir einen z-Test, um Unterschiede zwischen der Behandlungs- und der Kontrollgruppe auf dem Niveau von 5 % zu berechnen, was mechanisch der Überprüfung entspricht, ob das 95 %-Konfidenzintervall für den Unterschied 0 enthält. Um zu ermitteln, wie viele Sitzungen erforderlich sind, um eine Auswirkung zu erkennen, führen wir eine Leistungsberechnung durch, die auf dem von Ihnen ausgewählten Behandlungs- und Kontrollprozentsatz basiert. Diese Leistungsberechnung gibt die Anzahl der Sitzungen zurück, die erforderlich sind, um 80 % Leistung zu haben, um einen Unterschied von 1 % zwischen Behandlung und Kontrolle auf einem Bedeutungsniveau von 5 % zu erkennen.
Notiz
Um Ihnen diesen A/B-Testservice anbieten zu können, müssen wir aus Ihren Transaktionsdaten Analysen zu den Aktivitäten Ihrer Kundinnen und Kunden ableiten. Wir verwenden die IP-Adresse Ihrer Kundinnen/Kunden und Informationen zum Nutzer-Agent, um festzustellen, wann ein/e Nutzer/in, dem/der auf einer Seite des Bestellvorgangs eine Zahlungsmethode angezeigt wurde, den Vorgang abgeschlossen hat. Abhängig von dem für Sie und Ihre Kundinnen/Kunden geltenden Recht kann es erforderlich sein, dass Sie uns mit der Durchführung dieser Tätigkeit in Ihrem Auftrag beauftragen, z. B. indem Sie Informationen bereitstellen und die Zustimmung Ihrer Kundinnen/Kunden zu dieser Tätigkeit einholen. Wenden Sie sich an Ihren Rechtsbeistand, um sicherzustellen, dass Sie alle Ihre Verpflichtungen gemäß den geltenden Datenschutzgesetzen einhalten.
Unterstützte Zahlungsmethoden
Integrationsmöglichkeiten
Sie können auf A/B-Tests zugreifen, wenn Ihre Integration Payment Element Web oder Checkout mit dynamischen Zahlungsmethoden verwendet.
Unterstützte Zahlungsmethoden
A/B-Tests für Connect Connect
A/B-Tests sind für Connect-Plattformen verfügbar, jedoch nicht für einzelne verbundene Konten. Bei der Einrichtung eines A/B-Tests gelten die für die Kontrolle und Behandlung ausgewählten Zahlungsmethoden für alle berechtigten verbundenen Konten. Um bestimmte verbundene Konten abzulehnen, können Sie während der Erstellung des Experiments eine Liste der Konto-IDs angeben.
Plattformen können verbundenen Konten erlauben, ihre Zahlungsmethodeneinstellungen anzupassen, um bestimmte Zahlungsmethoden zu aktivieren oder zu deaktivieren. Wenn ein verbundenes Konto eine Zahlungsmethode, die sich in einer Behandlungs- oder Kontrollgruppe befindet, aktiviert oder deaktiviert, gilt die Präferenz des verbundenen Kontos sowohl für Behandlungs- als auch für Kontrollsitzungen. Wenn beispielsweise eine Plattform ein Experiment mit Klarna durchführt und ein verbundenes Konto Klarna deaktiviert hat, wird Klarna niemals als verfügbare Zahlungsmethode für die Nutzer/innen des verbundenen Kontos angezeigt.