データパイプラインを使用して Amazon S3 にデータをエクスポートする
Data Pipeline を使用して、Stripe から AWS S3 バケットへの定期的なデータエクスポートを自動化します。
AWS S3 ストレージの保存先
Data Pipeline は、Stripe データのコピーをすべて Parquet ファイルとして AWS S3 ストレージバケットに配信します。ここには各テーブルのファイルディレクトリが含まれ、6 時間ごとに配信および更新が行われます。
前提条件
連携を開始する前に、有効な AWS アカウントと以下の権限があることを確認してください。
- AWS S3 バケットを作成します。
- プロビジョニングされたバケットに Stripe がオブジェクトを作成できるようにするための IAM ロールを作成します。
- 管理者または開発者の役割で Stripe ダッシュボードにアクセスします。
バケットを作成する
- 選択したアカウントのリージョンの Amazon S3 コンソール に移動します。
- 必要に応じて、新しいストレージバケットを作成します。
- S3 バケットが現在ない場合は、最初のバケットを作成するための AWS ガイドラインに従って作成してください。名前に「stripe」を含めることをお勧めします (例: <name>-stripe-data)。
- このバケット名とリージョンは後のステップで必要になるため、書き留めておきます。
アカウント登録プロセスを開始する
- Data Pipeline ダッシュボード にアクセスします。
- 「開始」をクリックします。
- AWS S3 ロゴを選択して、「次へ」をクリックします。
- この権限のステップでは、IAM ロールと信頼ポリシーの作成時に使用できるコードブロックを確認できます。
新しい権限ポリシーを作成する
新しい権限ポリシーを作成するには、以下の手順に従います。
- AWS IAM コンソールで_Policies (ポリシー) > Create policy (ポリシーの作成) > JSON_ をクリックします。
- Stripe アカウント登録ステップから提供されている JSON スニペットを貼り付けます。
- JSON スニペットの Resource セクションで、
BUCKET_
を設定したバケット名に置き換えます。RESOURCE - 新しいポリシーの名前を指定します (例:
stripe-data-pipeline-policy
)。
カスタムポリシーを使用して新しい信頼の役割を作成する
カスタムポリシーを使用して新しい役割を作成するには、以下の手順に従います。
- AWS IAM コンソールで_Roles (役割) > Create role (役割の作成) > Custom Trust Policy (カスタム信頼ポリシー)_ をクリックします。
- Stripe アカウント登録ステップから提供されている JSON スニペットを貼り付けます。
- 権限ページで Next (次へ) をクリックして、新しいポリシーに新しい役割を追加します。
- 新しく作成したポリシー名 (例:
stripe-data-pipeline-policy
) を選択します。 - stripe-data-pipeline-s3-role という名前で役割を保存します。この正確な名前を使用する必要があります。
AWS S3 への接続を確立する
- Stripe Data Pipelineアカウント登録プロセスに戻ります。
- 前のステップで生成された AWS アカウント ID、バケット名、リージョンを入力します。
- データ暗号化オプションを選択します。顧客管理キーを使用する場合は、公開キーをアップロードしてください。暗号化キーの作成方法については、暗号化キーの生成の手順をご確認ください。
- 次へをクリックします。次へをクリックすると、指定したバケットにテストデータが送信されますが、本番データは送信されません。
- テストデータの送信を確定したら、S3 バケットに移動します。
- バケットを開き、
penny_
ディレクトリに移動します。次に acct_ というプレフィックスのサブディレクトリを開き、送信されたtest account_
テストファイルを探します。validation. csv account_
ファイルをダウンロードします。validation. csv - このテストファイルをデータパイプラインのアカウント登録ステップにアップロードします。
- 値を確定をクリックします。
- テスト値を確認したら、登録をクリックします。これにより製品に登録され、AWS S3 バケットに配信される全データの最初の読み込みがスケジュールされます。このプロセスは 6 ~ 12 時間かかる場合があります。