Data Pipeline で Google Cloud Storage にデータをエクスポート
Data Pipeline を使用して、Stripe から Google Cloud Storage バケットへの定期的なデータエクスポートを自動化します。
Google クラウドストレージの保存先
Data Pipeline は、Stripe データのコピーをすべて Parquet ファイルとして Google Cloud Storage (GCS) バケットに配信します。ここには各テーブルのファイルディレクトリが含まれ、6 時間ごとに配信および更新が行われます。
前提条件
組み込みを開始する前に、以下にアクセスできることと権限があることを確認してください。
- Google Cloud Storage バケットを作成します。
- プロビジョニングされたバケットに Stripe がオブジェクトを作成できるようにするサービスアカウントを作成します。
- Stripe ダッシュボードに管理者としてアクセスします。
Google Cloud プロジェクトを選択する
- Google Cloud コンソール に移動します。
- Stripe データの送信先となるプロジェクトを選択します。
新しいサービスアカウントを作成して JSON キーを生成する
- サービスアカウント ページで正しい Google Cloud プロジェクトに移動していることを確認します。
- + サービスアカウントを作成をクリックします。
- サービスアカウントの名前を入力します (例: “<name>-stripe-data-pipeline”)。
- 説明を追加します (「このロールにより、Stripe はバケットにデータファイルをアップロードできるようになります」など)。
- 作成して続行をクリックします。
- ロールを選択ドロップダウンで、
Storage Object User
、Storage Object Creator
、Storage Insights Collector Service
の 3 つの役割を追加します。 - 完了をクリックします。
- 新しい サービスアカウント には、アクションメニューのキーの管理をクリックします。
- キーを追加をクリックし、新しいキーを作成を選択します。
- キータイプ JSONを選択し、作成をクリックします。 JSON ファイルがデバイスにダウンロードされます。
新しいバケットを作成
- Google Cloud コンソール で Cloud Storage > バケットに移動して、適切な Google Cloud プロジェクトを使用していることを確認します。
- + 作成をクリックします。
- 名前フィールドは、「stripe (「<name>-stripe-data」など)」を含む名前を推奨しています。
- 場所タイプは、マルチリージョン: アメリカを推奨しています。
- ストレージクラスは、デフォルトクラスを設定 - Standard を推奨しています。
- アクセス制御は、Uniform アクセス制御によるパブリックアクセスをブロックを選択します。
- データ保護のために、7 日間などの論理的な保存期間ポリシーを推奨しています。
- 作成ボタンをクリックして、バケットを作成します。
- 新しく作成したバケットの許可タブを選択します。
- プリンシパル別に表示タブの許可で、前のステップで作成したサービスアカウントの横にあるボックスをチェックします。
Google Cloud Storage 接続を確立する
- Data Pipeline ダッシュボード にアクセスします。
- 開始をクリックします。
- Google Cloud Storage ロゴを選択して、続行 -> をクリックします。このステップではバケット名を生成します。
- 前のステップで生成したバケット名を入力します。
- 以前に生成したサービスアカウントの
.
ファイルをアップロードします。json - データ暗号化オプションを選択します。顧客管理キーを使用する場合は、公開キーをアップロードしてください。
- 次へボタンをクリックします。このボタンをクリックすると、指定したバケットにテストデータが送信されますが、本番データは送信されません。
- テストデータの送信を確認したら、Cloud Storage バケット に移動します。
- バケットを開き、penny_test ディレクトリに移動します。次に acct_ というプレフィックスのサブディレクトリを開き、提供された
account_
テストファイルを探します。validation. csv - account_validation.csv ファイルをクリックします。
- ダウンロードをクリックします。
- テスト値ファイルをアップロードをクリックして、ダウンロードした
account_
をアップロードします。validation. csv - 値を確定をクリックします。
- テスト値を確認したら、登録をクリックします。これにより製品に登録され、Google Cloud Storage バケットに配信される全データの最初の読み込みがスケジュールされます。このプロセスは 6 ~ 12 時間かかる場合があります。
*Google Cloud Storage は Google LLC の登録商標です。