Exporter des données vers Amazon S3 avec Data Pipeline
Automatisez les exportations récurrentes de données de Stripe vers votre groupe de stockage AWS S3 avec Data Pipeline.
Destination de stockage AWS S3
Data Pipeline envoie des copies de toutes vos données Stripe sous forme de fichiers Parquet dans votre compartiment de stockage AWS S3. Il inclut un répertoire de fichiers pour chaque tableau, qui est envoyé et mis à jour toutes les 6 heures.
Prérequis
Avant de commencer l’intégration, assurez-vous que vous disposez d’un compte AWS actif et de l’autorisation pour :
- Créer un groupe AWS S3.
- Créer un rôle IAM permettant à Stripe de créer des objets dans le groupe provisionné.
- Accédez au Dashboard Stripe en tant qu’administrateur ou développeur.
Créez un compartiment
- Accédez à votre console Amazon S3 dans la région du compte que vous avez choisie.
- Si nécessaire, créez un nouveau compartiment de stockage.
- Si vous ne disposez pas actuellement d’un compartiment S3, suivez les directives d’AWS pour créer votre premier compartiment. Nous vous recommandons d’inclure « stripe » dans le nom, par exemple « <name>-stripe-data ».
- Prenez note du nom de ce compartiment et de la région, car vous en aurez besoin pour les étapes suivantes.
Démarrez le processus d'inscription des utilisateurs
- Visitez le Dashboard du Data Pipeline.
- Cliquez sur Démarrer.
- Sélectionnez le logo AWS S3 et cliquez sur Suivant.
- Cette étape d’autorisation présente les blocs de code que vous pouvez utiliser pour créer un rôle IAM et une politique d’autorisation.
Créer une nouvelle politique d'autorisation
Pour créer une nouvelle politique d’autorisation :
- Dans votre console AWS IAM, cliquez sur Politiques > Créer une politique > JSON.
- Collez l’extrait de code JSON fourni à partir de l’étape d’inscription de Stripe.
- Dans la section Ressource de l’extrait de code JSON, remplacez
BUCKET_
par le nom du compartiment que vous avez défini.RESOURCE - Donnez un nom à la nouvelle politique (par exemple,
stripe-data-pipeline-policy
).
Créer un nouveau rôle de confiance à l'aide d'une politique personnalisée
Pour créer un nouveau rôle à l’aide d’une politique personnalisée :
- Dans votre console AWS IAM, cliquez sur Rôles > Créer un rôle > Politique de confiance personnalisée.
- Collez l’extrait de code JSON fourni à partir de l’étape d’inscription de Stripe.
- Cliquez sur Suivant sur la page des autorisations, puis ajoutez le nouveau rôle à votre nouvelle politique.
- Sélectionnez le nom de la nouvelle politique créée (par exemple,
stripe-data-pipeline-policy
. - Enregistrez le rôle sous le nom suivant : stripe-data-pipeline-s3-role. Vous devez utiliser ce nom exact.
Établir une connexion AWS S3
- Retournez au processus d’inscription des utilisateurs de Stripe Data Pipeline.
- Saisissez l’identifiant de compte AWS, le nom du groupe et la région générés à l’étape précédente.
- Sélectionnez votre option de chiffrement des données. Si vous avez choisi d’utiliser une clé gérée par le client, chargez votre clé publique. Consultez l’étape de génération des clés de chiffrement pour des instructions sur leur création.
- Cliquez sur Suivant. Ce faisant, vous envoyez les données de test dans le groupe que vous avez fourni, mais pas les données de production.
- Lorsque vous confirmez la livraison des données de test, accédez à votre groupe S3.
- Ouvrez le groupe, accédez au répertoire
penny_
, et ouvrez le sous-répertoire acct_ prefixed pour localiser le fichier de testtest account_
envoyé.validation. csv - Téléchargez le fichier
account_
.validation. csv - Téléchargez ce fichier de test lors de l’étape d’inscription des utilisateurs à votre pipeline de données.
- Cliquez sur Confirmer la valeur.
- Lorsque vous confirmez la valeur de test, cliquez sur S’abonner. Vous vous abonnez ainsi au produit et planifiez le chargement complet initial des données qui seront envoyées à votre groupe AWS S3, un processus qui peut prendre de 6 à 12 heures.