# 20/09/2025
# Toute utilisation de nos contenus protégés autre qu'un usage strictement individuel (incluant notamment l'entraînement des grands modèles de langage (LLM),
# l'entraînement des outils d'intelligence artificielle, la veille web ou le media monitoring) est conditionnée à la conclusion d'une licence d'utilisation
# avec les laboratoires Expanscience. Nous vous invitons à cette fin à contacter contact@expanscience.com
#
# Toute utilisation non-autorisée de nos contenus protégés est constitutive d'une contrefaçon de droit d'auteur et/ou du droit de producteur
# de base de données et susceptible d'être poursuivie.
#
# Il est interdit de crawler notre site web en utilisant un agent d'utilisateur (user agent) volé qui ne correspond pas à votre identité.
# L'utilisation des robots d'indexation web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web n'est pas autorisée.

User-agent: *
#Crawl-delay: 10
# Directories
Disallow: /core/
Disallow: /modules/
Disallow: /profiles/
Disallow: /libraries/
# Files
Disallow: /README.txt
Disallow: /web.config
Disallow: /autoload.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /node/
#Disallow: /user/register/
#Disallow: /user/password/
#Disallow: /user/login/
#Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /index.php/admin/
Disallow: /index.php/comment/reply/
Disallow: /index.php/filter/tips/
Disallow: /index.php/node/add/
Disallow: /index.php/search/
Disallow: /index.php/user/password/
Disallow: /index.php/user/register/
Disallow: /index.php/user/login/
Disallow: /index.php/user/logout/
# radiotheque
Disallow: /es/radioteca/avanzada/
Disallow: /fr/radiotheque/avancee/
Disallow: /en/radiotheque/avancee/
Disallow: /radiotheque/image/
# CSS, JS, Images
Allow: /core/*.css$
Allow: /core/*.css?
Allow: /core/*.js$
Allow: /core/*.js?
Allow: /core/*.gif
Allow: /core/*.jpg
Allow: /core/*.jpeg
Allow: /core/*.png
Allow: /core/*.svg
Allow: /profiles/*.css$
Allow: /profiles/*.css?
Allow: /profiles/*.js$
Allow: /profiles/*.js?
Allow: /profiles/*.gif
Allow: /profiles/*.jpg
Allow: /profiles/*.jpeg
Allow: /profiles/*.png
Allow: /profiles/*.svg
Allow: /sites/www.arthrolink.com/files/*.css$
Allow: /sites/www.arthrolink.com/files/*.css?
Allow: /sites/www.arthrolink.com/files/*.js$
Allow: /sites/www.arthrolink.com/files/*.js?
Allow: /sites/www.arthrolink.com/files/*.gif
Allow: /sites/www.arthrolink.com/files/*.jpg
Allow: /sites/www.arthrolink.com/files/*.jpeg
Allow: /sites/www.arthrolink.com/files/*.png
Allow: /sites/www.arthrolink.com/files/*.svg
Allow: /sites/www.arthrolink.com/files/*.pdf
# Ressources Patient Virtuel
Allow: /profiles/arthrolink/modules/custom/arthrolink_pvirt/patient.hyperesources/*

User-agent: Googlebot
Allow: /

# Disallow Rules for AI bots
User-agent: AI2Bot
User-agent: Amazonbot
User-agent: Applebot-Extended
User-agent: anthropic-ai
User-agent: BLEXBot
User-agent: Bytespider
User-agent: CCBot
User-agent: CensysInspect
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: cohere-ai
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: ev-crawler
User-agent: FacebookBot
User-agent: Flyriverbot
User-agent: GPTBot
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: MJ12bot
User-agent: MyEducationalCrawler
User-agent: OAI-SearchBot
User-agent: OI-Crawler
User-agent: PerplexityBot
User-agent: PerplexityBot
User-agent: SeznamBot
User-agent: VelenPublicWebCrawler
Disallow: /

# Ajout du sitemap
Sitemap: https://www.arthrolink.com/gsitemap.xml