User-agent: *
Disallow: /admin/
Disallow: /login
Disallow: /register
Disallow: /reset-password
Disallow: /verify/email
Disallow: /_profiler/
Disallow: /_wdt/
Disallow: /contact-auteur/
Disallow: /feedback

# --- Crawlers d'entraînement IA confirmés : /Fichiers/ interdit ---

# OpenAI — entraînement GPT
User-agent: GPTBot
Disallow: /Fichiers/

# Google — entraînement Gemini
User-agent: Google-Extended
Disallow: /Fichiers/

# Common Crawl — principal fournisseur de datasets ML
User-agent: CCBot
Disallow: /Fichiers/

# Apple — entraînement Apple Intelligence
User-agent: Applebot-Extended
Disallow: /Fichiers/

# ByteDance — entraînement (usage déclaré)
User-agent: Bytespider
Disallow: /Fichiers/

# Diffbot — datasets ML commerciaux
User-agent: Diffbot
Disallow: /Fichiers/

# Allen Institute for AI — datasets open source (Dolma)
User-agent: Ai2Bot
Disallow: /Fichiers/

User-agent: Ai2Bot-Dolma
Disallow: /Fichiers/

# img2dataset — outil de constitution de datasets
User-agent: img2dataset
Disallow: /Fichiers/

# Webz.io (ex-Omgili) — datasets ML commerciaux
User-agent: omgili
Disallow: /Fichiers/

User-agent: webzio-extended
Disallow: /Fichiers/

# Meta — usage mixte assistant/entraînement
User-agent: FacebookBot
Disallow: /Fichiers/

User-agent: meta-externalagent
Disallow: /Fichiers/

# Agents ambigus — entraînement probable
User-agent: cohere-ai
Disallow: /Fichiers/

Sitemap: https://www.scenariotheque.org/sitemap.xml