データの鮮度 Stripe データのデータ鮮度とスキーマについてご紹介します。 Sigma および Data Pipeline は、Stripe API で Stripe データにアクセスできるようにします。さらに、Stripe 財務レポート のような、Stripe API で使用できないデータにもアクセスできます。
データの鮮度 Sigma および Data Pipeline は、お客様の取引データのほとんどを 1 日以内にクエリで使用できるようにします。
Sigma では、お客様の Stripe 取引データの大半が 1 日以内にクエリで利用できるようになります。特定の日 (午前 12:00 から午後 11:59 UTC) のすべての API アクティビティーは、翌日の正午 (UTC) までにクエリで利用可能になります。たとえば、日曜日の終わり (UTC) 時点のデータは、月曜日の正午 (UTC) までに利用可能になります。同様に、月末時点のデータは、翌月 1 日に利用できるようになります。
Sigma でデータ読み込み時間をクエリする ダッシュボードのインターフェイスには、最後の支払いデータの日時が表示されます。クエリの値として data_ load_ time
を使用すると、アカウントでデータが最後に処理された日時を表すことができます。たとえば、支払いテーブルが最後に更新されたのが 2024/12/15 の場合、data_ load_ time
は 2024-12-12 00:00:00 +0000
と解釈されます。場合により、Sigma は data_ load_ time
よりも最近のアクティビティーを反映していることがあります。たとえば、午前 0 時 (UTC) 直前にオーソリされ、その直後にキャプチャーされた支払いが、キャプチャー済みと表示される場合があります。
データを使用できるようにするには、さらに時間が必要です。data_ load_ time
は、ご利用のアカウントで最後にデータが処理された日付を表すクエリの値として使用できます。この値を使用して、スケジュール済みのクエリの日付の範囲を動的に設定します。
たとえば、data_ load_ time
の 1 カ月前に作成された取引残高のリストを返す以下のスケジュール済みのクエリについて考えてみます。
select
id ,
amount ,
fee ,
currency
from balance_transactions
where
created < data_load_time and
created >= data_load_time - interval '1' month
order by created desc
limit 10
次のタイムラインは、データの可用性に基づき、このクエリがどのように機能するかを示しています。
日付 結果のタイムライン 2024-12-12 data_ load_ time
は 2024-12-12
として解釈されますスケジュール済みのクエリには、2024-12-11 の終わりまでの取引データが含まれます クエリ結果は、2024-12-12 の 2pm UTC までに利用可能になります
次に、data_ load_ time
の 1 カ月前に作成された各手数料の残高引き落としに関連付けられた charge_ids とインターチェンジ請求額のリストを返す、以下のスケジュール済みのクエリについて考えます。
select
ic . charge_id ,
ic . billing_currency ,
ic . billing_amount ,
ic . balance_transaction_id ,
ic . balance_transaction_created_at
from icplus_fees as ic
join balance_transactions as bt
on ic . balance_transaction_id = bt . id
where bt . created >= data_load_time - interval '1' month
and bt . created < data_load_time
このクエリが毎日繰り返されるようにスケジュールされている場合、結果を取得できるタイミングは、次のタイムラインのようになります。
日付 結果のタイムライン 2024-12-15 data_ load_ time
は 2024-12-12 00:00:00 +0000
として解釈されますスケジュール済みのクエリには、2024-12-11 の終わりまでの取引データが含まれます クエリ結果は、2024-12-15 の 2am UTC までに利用可能になります
データセットのデータ鮮度 特定のデータセットのデータ鮮度情報については、以下の表を参照してください。
データセット テーブル例 Sigma の鮮度 Data Pipeline の鮮度 コア API テーブル (Connect バージョンを含む) balance_ transactions
、charges
、connected_ account_ balance_ transactions
3 時間 12 時間 毎日更新されるテーブル exchange_ rates_ from_ usd
、radar_ rules
、radar_ rule_ attributes
、tax_ transactions
28 時間 28 時間
スキーマについて フルページのスキーマに関するドキュメント でも、スプリットビュー形式でスキーマを紹介し、テーブルの連係関係について詳しく説明しています。
スキーマは、可能な限り忠実に Stripe の API 命名規則に従っています。テーブルの多くが特定の API オブジェクトに対応しており、各列はレポートされる特定の属性を表しています。たとえば、charges
テーブルは、ダッシュボードの支払い セクションに表示される Charge (支払い) オブジェクトに関する情報を表します。
クエリを記述する際は、API リファレンス で追加のコンテンツや値を参照してください。
Sigma のスキーマタブ Sigma のスキーマタブ には、クエリで使用できるすべての利用可能なデータが、カテゴリー別に表示されます。各カテゴリーには、利用可能なデータを表すテーブルのセットが含まれています。
テーブルを選択して展開し、利用可能な列とそれに含まれるデータ型の説明を表示できます (Boolean
、Varchar
、Foreign key
など)。任意の列の上にカーソルを合わせると、その説明が表示されます。スキーマの上部に表示される検索フィールドを使用して、特定のテーブルと列を検索します。