Exporter des données vers Amazon S3
Automatisez les exportations de données récurrentes de données Stripe vers votre compartiment de stockage Amazon S3 avec Data Pipeline.
Data Pipeline envoie toutes vos données Stripe sous forme de fichiers Parquet dans votre compartiment de stockage AWS S3. Il inclut un répertoire de fichiers pour chaque table, qui est envoyé et mis à jour toutes les 3 heures.
Prérequis
Avant de commencer l’intégration, assurez-vous que vous disposez d’un compte AWS actif et de l’autorisation pour :
- Créez un compartiment Amazon S3.
- Créer un rôle IAM permettant à Stripe de créer des objets dans le groupe provisionné.
- Accédez au Dashboard Stripe en tant qu’administrateur ou développeur.
Créez un compartiment
- Accédez à votre console Amazon S3 dans la région du compte que vous avez choisie.
- Si nécessaire, créez un nouveau compartiment de stockage.
- Si vous ne disposez pas actuellement d’un compartiment S3, suivez les directives d’AWS pour créer votre premier compartiment. Nous vous recommandons d’inclure « stripe » dans le nom, par exemple « <name>-stripe-data ».
- Prenez note du nom de ce compartiment et de la région, car vous en aurez besoin pour les étapes suivantes.
Démarrez le processus d'inscription des utilisateurs
- Visitez le Dashboard du Data Pipeline.
- Cliquez sur Démarrer.
- Sélectionnez Amazon S3.
- Cette étape d’autorisation présente les blocs de code que vous pouvez utiliser pour créer un rôle IAM et une politique d’autorisation.
Créer une nouvelle politique d'autorisation
Pour créer une nouvelle politique d’autorisation :
- Dans votre console AWS IAM, cliquez sur Politiques > Créer une politique > JSON.
- Collez l’extrait de code JSON fourni à partir de l’étape d’inscription de Stripe.
- Dans la section Resource (Ressource) de l’extrait de code JSON, remplacez-le
<BUCKET_
par le nom de votre compartiment.RESOURCE> - Donnez un nom à la nouvelle politique (par exemple,
stripe-data-pipeline-policy
). - Cliquez sur Créer une politique.
Créer un nouveau rôle de confiance à l'aide d'une politique personnalisée
Pour créer un nouveau rôle à l’aide d’une politique personnalisée :
- Dans votre console AWS IAM, cliquez sur Rôles > Créer un rôle > Politique de confiance personnalisée.
- Collez l’extrait de code JSON fourni à partir de l’étape d’inscription de Stripe.
- Cliquez sur Suivant, puis sélectionnez la politique d’autorisation que vous venez de créer à l’étape 4.
- Enregistrez le rôle sous le nom suivant :
stripe-data-pipeline-s3-role
. Vous devez utiliser ce nom exact.
Établir une connexion AWS S3
- Retournez au processus d’inscription des utilisateurs de Stripe Data Pipeline.
- Saisissez l’identifiant de compte AWS, le nom du groupe et la région générés à l’étape précédente.
- Sélectionnez votre option de chiffrement des données. Si vous avez choisi d’utiliser une clé gérée par le client, chargez votre clé publique. Consultez l’étape de génération des clés de chiffrement pour des instructions sur leur création.
- Cliquez sur Suivant. Ce faisant, vous envoyez les données de test dans le groupe que vous avez fourni, mais pas les données de production.
- Lorsque vous confirmez la livraison des données de test, accédez à votre groupe S3.
- Ouvrez le groupe, accédez au directeur penny_test, et ouvrez le sous-directeur préfixé acct_ ou org_ pour localiser le fichier de test
account_
envoyé.validation. csv - Téléchargez le fichier
account_
.validation. csv - Téléchargez ce fichier de test lors de l’étape d’inscription des utilisateurs à votre pipeline de données.
- Cliquez sur Confirmer la valeur.
- Lorsque vous confirmez la valeur de test, cliquez sur S’abonner. Vous vous abonnez ainsi au produit et planifiez le chargement complet initial des données qui seront envoyées à votre groupe AWS S3, un processus qui peut prendre de 6 à 12 heures.
FacultatifGénérer des clés de chiffrement
Stripe offre la possibilité de crypter les transferts de données de Stripe vers votre bucket de stockage en utilisant le cryptage PGP avec une clé appartenant au client. Cela fournit une couche de protection supplémentaire. Vos données restent ainsi sécurisées en transit et au repos.
Vous pouvez désactiver le chiffrement PGP, mais cela augmente le risque d’exposition des données en cas de mauvaise configuration ou d’accès à votre groupe par des personnes non autorisées. Activer le chiffrement garantit que vos données bénéficient du niveau de protection le plus élevé.
- Ouvrez l’interface de ligne de commande (terminal).
- Exécutez la commande
gpg --full-generate-key
pour créer une paire de clés. - Lorsque vous y êtes invité(e), sélectionnez le type, la taille et la date d’expiration de la clé de votre choix. Nous vous suggérons :
- Type : (1) RSA et RSA (par défaut)
- Longueur en bits : 4096
- La clé est valable pour : 0 (n’expire pas)
- Confirmez que les informations sont correctes en tapant
y
et en appuyant sur Entrée. - Le nom réel est l’ID de votre compte acct_**** ; laissez les champs adresse e-mail et commentaires vides.
- Lorsque l’invite vous demande de saisir une phrase secrète, n’en saisissez pas.
- Localisez la clé que vous venez de générer et notez l’ID de la clé (la longue chaîne hexadécimale à la fin de la ligne de publication).
- Pour exporter la clé publique, saisissez la commande
gpg --output acct_
, en remplaçant your-key-id par l’identifiant hexadécimal de la clé que vous avez trouvé à l’étape précédente.1234. key --armor --export your-key-id - Le fichier de la clé publique (
acct_
) est maintenant enregistré dans le répertoire actuel.***. key