# Stripebot Web クローラー

Stripe が Web クローラーを使用してユーザー Web サイトにアクセスする方法をご紹介します。

Stripebot は、ユーザーの Web サイトからデータを収集する Stripe の自動 Web クローラーです。収集されたデータは、ユーザーにサービスを提供し、金融規制に準拠するために使用されます。

Stripebot はアルゴリズムを使用して、Web サーバートラフィックを最小限に抑えます。Stripe は、クローラーがユーザーの Web サイトの速度やアクセシビリティに影響を与えないようにしたいと考えています。

## Stripebot を特定する

Stripebot は、次の `user-agent` 情報で自分自身を識別します：

```
Mozilla/5.0 (X11; Linux {version}) AppleWebKit/{version} (KHTML, like Gecko) Chrome/{version} Safari/{version} (Stripebot/{version}; +https://docs.stripe.com/stripebot-crawler)
```

サーバーにアクセスする Web クローラーが実際に Stripebot であることを確認するには、DNS 検証を使用して、サーバーにログに記録された IP アドレスが Stripe 指定ドメインに解決されるかどうかを確認します。

1. コマンドラインツールを使用して、ログに記録された IP アドレスに対して DNS 逆引き検索を実行します。これが `crawl.stripe.com` ドメイン内の URL に解決されることを確認します。たとえば、ログの IP アドレスが `1.2.3.4` の場合、次のようになります。

```bash
$ host 1.2.3.4
4.3.2.1.in-addr.arpa domain name pointer 1-2-3-4.crawl.stripe.com
```

解決された URL は `crawl.stripe.com` ドメインにあるため、おそらく Stripebot です。

1. DNS の正引き検索を実行して、URL がログに記録された IP アドレスを指していることを確認します。以下に例を示します。

```bash
$ host 1-2-3-4.crawl.stripe.com
1-2-3-4.crawl.stripe.com has address 1.2.3.4
```

IP アドレスがサーバーでログに記録されたアドレスと一致し、それが Stripebot であることを示しています。

## Stripebot のページへのアクセスを制御する

Stripebot は、ほぼ [RFC 9309 Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) に従います。`robots.txt` ファイルの次の行を認識します (大文字と小文字は区別されません)。

- `User-Agent`: 次のルールグループが適用されるボット
- `Allow`: ボットがクロールできる URL パス
- `Disallow`: ボットがクロールできない URL パス

Stripebot は、`Stripebot` の `User-Agent` を持つ最初のグループのルールに従います。一致するグループが見つからない場合は、`User-Agent` が `*` である最初のグループのルールに従います。いずれの場合も、一致するグループが複数見つかった場合は、最初のグループのルールのみに従います。

たとえば、次のルールグループは、Stripebot が `/stripe-stuff` パスにアクセスすることを明示的に許可し、`/private` パスにアクセスすることをブロックします。

```
User-Agent: Stripebot
Allow: /stripe-stuff
Disallow: /private
```

> #### robots.txt キャッシュ
> 
> `robots.txt` ファイルを更新すると、キャッシュによって Stripebot がその変更をすぐに認識できなくなる場合があります。また、`robots.txt` が存在していても、ファイルを読み取ろうとするとエラーが返される場合、Stripebot はキャッシュされたバージョン (利用可能な場合) を使用することがあります。

## Stripebot についてサポートを受ける

Stripebot についてご不明な点やお困りのことがございましたら、stripebot@stripe.com までメールでお問い合わせください。特定のドメイン名に関する問題がある場合は、メッセージに含めてください。