Daten mit Data Pipeline in Amazon S3 exportieren
Automatisieren Sie wiederkehrende Datenexporte von Stripe in Ihren AWS S3 Storage-Bucket mit Data Pipeline.
AWS S3 Storage Destination
Die Datenpipeline kann Kopien aller Ihrer Stripe-Daten als Parquet-Dateien in Ihren AWS S3-Speicherbereich liefern. Sie enthält ein Verzeichnis mit Dateien für jede Tabelle, die alle 6 Stunden geliefert und aktualisiert wird.
Voraussetzungen
Stellen Sie vor dem Start der Integration sicher, dass Sie über ein aktives AWS-Konto und die Berechtigung für Folgendes verfügen:
- Erstellen Sie einen AWS S3-Bucket.
- Erstellen Sie eine IAM-Rolle, mit der Stripe Objekte im bereitgestellten Bucket erstellen kann.
- Mit einer Administrator- oder Entwicklerrolle auf das Stripe-Dashboard zugreifen.
Bucket erstellen
- Navigieren Sie zu Ihrer Amazon S3-Konsole in der von Ihnen gewählten Kontoregion.
- Erstellen Sie bei Bedarf einen neuen Storage-Bucket.
- Wenn Sie derzeit keinen S3-Bucket haben, befolgen Sie die AWS-Richtlinien zum Erstellen Ihres ersten Buckets. Wir empfehlen, „stripe“ in den Namen aufzunehmen, z. B. „<name>-stripe-data“.
- Beachten Sie diesen Bucket-Namen und die Region, da Sie sie für zukünftige Schritte benötigen.
Onboarding-Prozess starten
- Besuchen Sie das Data Pipeline-Dashboard.
- Klicken Sie auf „Jetzt starten“.
- Wählen Sie das AWS S3-Logo aus und klicken Sie auf „Weiter“.
- In diesem Berechtigungsschritt sehen Sie Codeblöcke, die Sie zum Erstellen der IAM-Rolle und der Vertrauensrichtlinie verwenden können.
Neue Berechtigungsrichtlinie erstellen
So erstellen Sie eine neue Berechtigungsrichtlinie:
- Klicken Sie in Ihrer AWS IAM-Konsole auf Richtlinien > Richtlinie erstellen > JSON.
- Fügen Sie das mitgelieferte JSON-Snippet aus dem Onboarding-Schritt von Stripe ein.
- Ersetzen Sie im Abschnitt Ressource des JSON-Snippets
BUCKET_
durch den von Ihnen festgelegten Bucket-Namen.RESOURCE - Geben Sie einen Namen für die neue Richtlinie an (zum Beispiel
stripe-data-pipeline-policy
).
Neue Vertrauensrolle mithilfe einer nutzerdefinierten Richtlinie erstellen
So erstellen Sie eine neue Rolle mit einer nutzerdefinierten Richtlinie:
- Klicken Sie in Ihrer AWS IAM-Konsole auf Rollen > Rolle erstellen > Nutzerdefinierte Vertrauensrichtlinie.
- Fügen Sie das mitgelieferte JSON-Snippet aus dem Onboarding-Schritt von Stripe ein.
- Klicken Sie auf der Berechtigungsseite auf Weiter und fügen Sie dann die neue Rolle zu Ihrer neuen Richtlinie hinzu.
- Wählen Sie den neu erstellten Richtliniennamen aus (zum Beispiel
stripe-data-pipeline-policy
). - Speichern Sie die Rolle mit dem folgenden Namen: stripe-data-pipeline-s3-role. Sie müssen genau diesen Namen verwenden.
AWS S3-Verbindung herstellen
- Kehren Sie zum Stripe Data Pipeline-Onboarding zurück.
- Geben Sie die AWS-Konto-ID, den Bucket-Namen und die Region ein, die im vorherigen Schritt generiert wurden.
- Wählen Sie Ihre Datenverschlüsselungsoption. Wenn Sie sich für die Verwendung eines von der Kundin/dem Kunden verwalteten Schlüssels entschieden haben, laden Sie Ihren öffentlichen Schlüssel hoch. Überprüfen Sie den Schritt zum Generieren von Verschlüsselungsschlüsseln, um zu sehen, wie die Erstellung eines Schlüssels abläuft.
- Klicken Sie auf Weiter. Dadurch werden Testdaten an den von Ihnen angegebenen Bucket gesendet, aber keine Produktionsdaten.
- Wenn Sie die Zustellung der Testdaten bestätigen, gehen Sie zu Ihrem S3-Bucket.
- Öffnen Sie den Bucket, navigieren Sie zum Verzeichnis
penny_
und öffnen Sie das Unterverzeichnis acct_ prefixed sub-directory, um die gelieferte Testdateitest account_
zu finden.validation. csv - Laden Sie die Datei
account_
herunter.validation. csv - Laden Sie diese Testdatei in Ihrem Onboarding-Schritt für die Data Pipeline hoch.
- Klicken Sie auf Wert bestätigen.
- Wenn Sie den Testwert bestätigen, klicken Sie auf Abonnieren. Dadurch abonnieren Sie das Produkt und planen die anfängliche Vollauslastung der Daten für die Bereitstellung in Ihrem AWS S3-Bucket, ein Vorgang, der 6 bis 12 Stunden dauern kann.