V◯◯erプロフ図書館 クローラーポリシー
ステータス: クローズドα版 / v0.2
作成日: 2026-09-15
更新日: 2026-09-19
α公開日: 2026-09-21
施行日: 未定
V◯◯erプロフ図書館（以下「本サービス」といいます。）は、V◯◯erに関する公開メタデータの典拠確認、初期データ収集および新たなV◯◯er候補の収集のため、公開Webページに対する限定的な自動取得を行うことがあります。
このクローラーポリシー（以下「本ポリシー」といいます。）は、本サービスが運用するWebクローラーの方針を、Webサイト運営者その他の方が確認できるよう公開するものです。
本ポリシーは、本サービス上の /crawler-policy から確認できる状態を維持します。
1. 基本方針
本サービスのWebクローラーは、Web上の情報を無制限に収集することを目的としません。
取得対象は、原則として次の範囲に限定します。
- V◯◯er、公式、クリエイターその他の公開メタデータの典拠として合理的な公開ページ
- 取得目的および取得範囲を事前に確認したURL
- 対象サイトのrobots.txt、利用条件その他の公開方針に照らして自動取得が適切であると確認したページ
取得したWebページそのものを再配布することを目的とせず、事実確認、構造化、新たなV◯◯er候補の発見その他のメタデータ整備に利用します。
既に掲載されているV◯◯erのプロフィールを継続的に監視し、自動的に更新し続けることを一般Webクローラーの基本的な役割とはしません。既存データの訂正・更新は、ユーザーからの提案を中心として行います。
自動取得を行う場合も、対象サービスの性質や利用条件に応じて、一般Webクローラー、公式APIその他の認められた取得手段を使い分けます。
2. クローラーの識別
本サービスの一般Webクローラーは、次のUser-Agentを使用します。
VxxerProfileLibraryBot/1.0 (+https://vxxer-lib.com/crawler-policy)
Webサイト運営者は、アクセスログからこのUser-Agentを確認し、本ポリシーおよび連絡窓口へたどれるようにします。
User-Agentのバージョン等を変更する場合も、問い合わせ先となるURLを継続して確認できる状態を維持します。
外部サービスが提供する公式API、OAuthその他の公式な通信手段を利用する場合は、この一般Webクローラー用User-Agentを使用しないことがあります。
3. 対象URLと取得範囲
自動取得の対象は、原則として事前に確認されたURLおよび取得範囲に限定します。
対象URL、サイト構成または取得範囲が大きく変わった場合は、必要に応じて再確認します。
一般的な検索エンジンのように、Web全体を無制限にたどるクローリングは行いません。
4. robots.txt
本サービスのWebクローラーは、robots.txtによる意思表示を尊重します。
自動取得対象として事前に確認されている場合でも、robots.txtで取得が禁止されているパスを通常取得しません。
robots.txtとは別に、認証、アクセス制御、利用条件その他の制限が存在する場合は、それらも別途確認し、尊重します。
5. アクセス制限を回避しません
本サービスのWebクローラーは、次のような仕組みを回避して情報を取得しません。
- ログイン
- パスワード保護
- 有料会員等に限定されたページ
- CAPTCHA
- アクセス制御
- 技術的な遮断
- その他、公開アクセスを制限するための仕組み
公開されていない情報を取得するために、脆弱性の利用その他の手段を用いることもありません。
6. サイトごとの方針・利用条件
対象サイトに、自動取得、Bot、API利用その他に関する明確な方針または利用条件がある場合は、その内容を確認します。
一般Webクローラーによる取得が禁止されている場合や、公式APIその他の利用手段が指定されている場合は、一般Webクローラーによる取得を行いません。
例えば、XやYouTubeのように公式な取得手段を利用すべきサービスについては、一般的なHTML取得ではなく、利用条件を確認した上で公式な手段を使用します。
自動取得の可否に疑義がある場合は、取得を優先せず、確認が完了するまで対象外とします。
7. アクセス頻度
本サービスは、対象サーバーへ過度な負荷を与えないよう、低頻度・低同時接続数でアクセスします。
同一ホストへの通常のアクセスは、原則として少なくとも1秒以上の間隔を設け、必要に応じて2〜5秒以上の間隔を利用します。
対象サイトの応答状況、サイト運営者による明示的な案内その他の事情に応じて、さらに頻度を下げることがあります。
短時間に大量の並列アクセスを行うことを通常運用とはしません。
8. エラー時の再試行
エラーが発生した場合、短時間に大量の再試行を行いません。
アクセス頻度の制限、サーバー負荷または一時的な利用不能を示す応答を受けた場合は、アクセス間隔の延長、再試行の停止その他の対応を行います。
継続的なエラー、アクセス拒否その他の状態を確認した場合は、自動取得を停止し、必要に応じて対象サイトの取扱いを再確認します。
9. リダイレクトと安全性
リダイレクト先についても、取得対象として適切か、安全にアクセスできるかを確認します。
事前に確認した取得範囲を逸脱するリダイレクトや、ローカルネットワーク、プライベートアドレスその他本来アクセスすべきでない宛先へ到達しないよう制限します。
10. 取得する内容
本サービスは、公開メタデータの確認に必要なHTMLその他テキスト中心の応答を対象とします。
公開メタデータ収集の目的では、次のようなバイナリデータを取得・保存しません。
- 画像
- 音声
- 動画
- 圧縮ファイル
- その他のバイナリメディア
取得時には、応答サイズ、Content-Type、リダイレクト回数、タイムアウトその他に上限を設けます。
11. 保存する情報
取得したHTMLやページ全文は、解析処理中に一時的に利用することがありますが、通常運用ではそのまま永続保存しません。
必要に応じて、次のような情報を保存します。
- 取得を行ったURL
- リダイレクト後のURL
- HTTPに関する基本的な情報
- 取得日時
- 内容のハッシュ
- 取得対象として確認した範囲や目的
- 事実確認に必要な短い典拠抜粋
- 抽出・確認結果
外部サイトのページ全文を、本サービスのデータベースへ保管することを通常の収集方法とはしません。
12. プライバシー・安全
公開ページを取得した際に、V◯◯erの活動主体となる自然人の実名、住所、実年齢、非公開の連絡先、前世・転生に関する推測その他、本サービスの収集対象外情報が含まれている場合があります。
これらは、本サービスの公開メタデータとして収集・記録する対象ではありません。
構造上の入力制限、必要な範囲での内容確認その他の安全対策により、公開メタデータ、典拠抜粋その他の永続的な記録へ不必要に残さないようにします。
疑わしい情報については、自動的に公開せず、人による確認へ回します。
13. AIによる処理
本サービスは、取得した公開ページからメタデータ候補を抽出し、構造化し、典拠との整合性を確認するため、AIを利用することがあります。
AI処理は、原則として本サービスが管理する実行環境内で行います。
AIが生成した結果を、そのまま公開メタデータへ反映するものではありません。
典拠に存在しない事実をAIの推測のみで追加せず、所定の確認手順を経た情報のみを公開対象とします。
14. リンクの追跡
一般的な再帰クローリングは行いません。
例えば、公式の所属タレント一覧ページを取得する場合でも、そこから追跡するリンクは、同一公式サイト内のプロフィールページや、明示的に案内された公式アカウント等、あらかじめ定めた範囲に限定します。
外部リンクを無制限にたどることはありません。
15. 公開メタデータへの反映
Webクローラーが取得した内容を、そのまま公開メタデータへ直接書き込むことはありません。
取得した情報は、典拠確認、プライバシー・安全上の確認、既存データとの競合確認その他の所定の処理を経て、必要な場合は人による確認を行った上で公開対象となります。
16. 自動取得の停止依頼
Webサイト運営者その他そのサイトを正当に管理する方から自動取得の停止依頼があった場合は、対象URLおよび申立人の立場を確認し、必要に応じて対象URLまたは対象サイトの自動取得を停止・見直します。
緊急性が高いと合理的に判断した場合は、確認中であっても一時的に自動取得を停止することがあります。
クローラーに関する連絡は、本サービス上に表示する所定の連絡窓口から受け付けます。
17. セキュリティ
本サービスのWebクローラーを、外部サイトへの攻撃、脆弱性調査、認証回避その他公開メタデータ収集に不要なアクセスへ利用しません。
また、Webクローラーが本サービス内部への攻撃経路とならないよう、アクセス先、リダイレクト、ネットワーク範囲その他に技術的な制限を設けます。
18. 本ポリシーの変更
Webクローラーの運用方針を重要な範囲で変更する場合は、本ポリシーを更新します。
利用者または対象サイト運営者に実質的な影響を与える重要な変更については、原則として効力発生日の14日前までに本サービスのフロントページで告知します。誤字の修正、表現の整理その他内容を実質的に変更しない修正については、この限りではありません。
取得対象を大きく拡大する場合、バイナリデータの取得を開始する場合、一般的な再帰クローリングへ変更する場合その他現在の基本方針を大きく変更するときは、プライバシー、法令、セキュリティおよび対象サイトの利用条件を改めて確認します。
過去版は可能な範囲で参照できる状態を維持します。