データの鮮度
Sigma と Data Pipeline を利用したデータ処理についてご紹介します。 Sigma と Data Pipeline を使用すると、Stripe API を介してアクセスできますが、インターフェイスが異なる同じ基になるデータを分析およびエクスポートできます。Stripe API では、データへのプログラムによるアクセスを提供しますが、Sigma は SQL ベースのインターフェイスを提供し、カスタムクエリと分析に利用できます。また、Data Pipeline はデータの一括エクスポートを行えます。
さらに、Sigma と Data Pipeline は、レポート など、Stripe API では利用できない特定のデータへのアクセスを提供します。
データの鮮度 Sigma と Data Pipeline を使用すると、ほとんどの取引データを 1 日以内にクエリできるようになります。
Sigma では、Stripe 取引データのほとんどを 3 時間以内にクエリできるようになります。すべての API アクティビティは、発生から約 3 時間後にクエリに使用できます。たとえば、午前 12:00 UTC のデータは、同日の午前 3:00 UTC までに利用できます。
クエリデータの読み込み時間 ダッシュボードのインターフェイスには、最後の支払いデータの日時が表示されます。クエリの値として data_ load_ time
を使用すると、アカウントでデータが最後に処理された日時を表すことができます。たとえば、支払いテーブルが最後に更新されたのが 2025/5/14 の場合、data_ load_ time
は 2025-05-11 00:00:00 +0000
と解釈されます。場合により、Sigma は data_ load_ time
よりも最近のアクティビティーを反映していることがあります。たとえば、午前 0 時 (UTC) 直前にオーソリされ、その直後にキャプチャーされた支払いが、キャプチャー済みと表示される場合があります。
データを使用できるようにするには、さらに時間が必要です。data_ load_ time
は、ご利用のアカウントで最後にデータが処理された日付を表すクエリの値として使用できます。この値を使用して、スケジュール済みのクエリの日付の範囲を動的に設定します。
たとえば、data_ load_ time
の 1 カ月前に作成された取引残高のリストを返す以下のスケジュール済みのクエリについて考えてみます。
select
id ,
amount ,
fee ,
currency
from balance_transactions
where
created < data_load_time and
created >= data_load_time - interval '1' month
order by created desc
limit 10
次のタイムラインは、データの可用性に基づいてこれがどのように機能するかを表します。
日付 結果のタイムライン 2025-05-11 data_ load_ time
は 2025-05-11
として解釈されますスケジュール済みのクエリには、2025-05-10 の終わりまでの取引データが含まれます クエリ結果は、2025-05-11 の 2pm UTC までに利用可能になります
次に、data_ load_ time
の 1 カ月前に作成された各手数料の残高引き落としに関連付けられた charge_ids とインターチェンジ請求額のリストを返す、以下のスケジュール済みのクエリについて考えます。
select
ic . charge_id ,
ic . billing_currency ,
ic . billing_amount ,
ic . balance_transaction_id ,
ic . balance_transaction_created_at
from icplus_fees as ic
join balance_transactions as bt
on ic . balance_transaction_id = bt . id
where bt . created >= data_load_time - interval '1' month
and bt . created < data_load_time
このクエリが毎日反復的に実行されるようにスケジュールされている場合、結果を取得できるタイミングは、次のタイムラインのようになります。
日付 結果のタイムライン 2025-05-14 data_ load_ time
は 2025-05-11 00:00:00 +0000
として解釈されますスケジュール済みのクエリには、2025-05-10 の終わりまでの取引データが含まれます クエリ結果は、2025-05-14 の 2am UTC までに利用可能になります
データスキーマ API 規則に厳密に従った完全なスキーマ を、表の関係の詳細を示す分割ビュー形式で表示できます。クエリで使用できるすべてのデータが、カテゴリ別に整理されて表示されます。各カテゴリには、使用可能なデータを表す一連の表が含まれています。多くの表は特定の API オブジェクトに対応しており、各列は報告された属性を表します。たとえば、charges
表は、ダッシュボードの 支払い セクションに表示される Charge オブジェクトに関する情報を表します。
表を選択して展開し、利用可能な列とそれに含まれるデータ型の説明を表示できます (Boolean
、Varchar
、Foreign key
など)。任意の列の上にカーソルを合わせると、その説明が表示されます。スキーマの上部に表示される検索フィールドを使用して、特定のテーブルと列を検索することもできます。クエリを記述する際は、追加のコンテキストと値については、API リファレンス を参照してください。
データセットの鮮度 データセットのデータ鮮度については、次の表を参照してください。
データセット テーブル名 Sigma の鮮度 SDP の鮮度 billing クーポン 3 9 billing coupons_currency_options 3 9 billing coupons_metadata 3 9 billing credit_note_discount_amounts 3 9 billing credit_note_line_item_discount_amounts 3 9 billing credit_note_line_item_tax_amounts 3 9 billing credit_note_line_items 3 9 billing credit_note_tax_amounts 3 9 billing credit_notes 3 9 billing credit_notes_metadata 3 9 billing discounts 3 9 billing invoice_custom_fields 3 9 billing invoice_customer_tax_ids 3 9 billing invoice_items 3 9 billing invoice_items_metadata 3 9 billing invoice_line_item_discount_amounts 3 9 billing invoice_line_item_tax_amounts 3 9 billing invoice_line_items 3 9 billing invoice_payments 3 9 billing invoice_shipping_cost_taxes 3 9 billing 請求書 3 9 billing invoices_metadata 3 9 billing plans 3 9 billing plans_metadata 3 9 billing price_tiers 3 9 billing 料金 3 9 billing prices_currency_options 3 9 billing prices_metadata 3 9 billing 商品 3 9 billing products_metadata 3 9 billing promotion_codes 3 9 billing 見積もり 3 9 billing subscription_items 3 9 billing subscription_items_metadata 3 9 billing subscription_schedule_phase_add_invoice_items 3 9 billing subscription_schedule_phase_configuration_items 3 9 billing subscription_schedule_phases 3 9 billing subscription_schedule_phases_metadata 3 9 billing subscription_schedules 3 9 billing subscription_schedules_metadata 3 9 billing サブスクリプション 3 9 billing subscriptions_metadata 3 9 billing tax_rates 3 9 billing tax_rates_metadata 3 9 billing usage_records 3 9 checkout checkout_custom_fields 3 9 checkout checkout_line_items 3 9 checkout checkout_sessions 3 9 checkout payment_links 3 9 connect 口座 3 9 connect accounts_metadata 3 9 connect-fees application_fee_refunds 3 9 connect-fees application_fee_refunds_metadata 3 9 connect-fees application_fees 3 9 crypto crypto_onramp_sessions 3 9 customers customer_balance_transactions 3 9 customers customer_balance_transactions_metadata 3 9 customers customer_cash_balance_transactions 3 9 customers customer_tax_ids 3 9 customers customers 3 9 customers customers_metadata 3 9 issuing issuing_authorizations 3 9 issuing issuing_authorizations_metadata 3 9 issuing issuing_cardholders 3 9 issuing issuing_cardholders_metadata 3 9 issuing issuing_cards 3 9 issuing issuing_cards_metadata 3 9 issuing issuing_disputes 3 9 issuing issuing_network_tokens 3 9 issuing issuing_transactions 3 9 issuing issuing_transactions_metadata 3 9 payments balance_transaction_fee_details 3 9 payments balance_transactions 3 9 payments 支払い 3 9 payments charges_metadata 3 9 payments 不審請求申請 3 9 payments disputes_enhanced_eligibility 3 9 payments disputes_metadata 3 9 payments external_account_bank_accounts 3 9 payments external_account_cards 3 9 payments payment_intents 3 9 payments payment_intents_metadata 3 9 payments payment_method_details 3 9 payments payment_methods 3 9 payments payment_methods_metadata 3 9 payments payment_reviews 3 9 payments 返金 3 9 payments refunds_metadata 3 9 payments rule_decisions 3 9 payments setup_attempts 3 9 payments setup_intents 3 9 payments setup_intents_metadata 3 9 payments sources 3 9 payments sources_metadata 3 9