# robots.txt pour MC61 Constructions
# Site: https://www.mc61constructions.fr
# Dernière mise à jour: 26 octobre 2025

# Autoriser tous les bots par défaut
User-agent: *

# Bloquer l'accès à l'administration
Disallow: /adminrootxyw/
Disallow: /admin/

# Bloquer l'accès aux dossiers système et techniques
Disallow: /includes/
Disallow: /lib/
Disallow: /vendor/
Disallow: /node_modules/
Disallow: /cache/
Disallow: /tmp/
Disallow: /logs/
Disallow: /.git/

# Bloquer les fichiers de configuration
Disallow: /config/
Disallow: /*.ini$
Disallow: /*.conf$

# Bloquer les backups
Disallow: /*.backup$
Disallow: /*.bak$
Disallow: /*.old$
Disallow: /backups/

# Bloquer les fichiers temporaires
Disallow: /*~$
Disallow: /*.tmp$

# Bloquer les dossiers de développement
Disallow: /dev/
Disallow: /test/
Disallow: /tests/

# Autoriser explicitement les ressources importantes
Allow: /css/
Allow: /js/
Allow: /img/
Allow: /images/
Allow: /photos/
Allow: /photos-logos/
Allow: /fonts/

# Autoriser les pages locales (SEO important)
Allow: /Maitre-Doeuvre-*.html

# Autoriser les pages lexique
Allow: /Lexique-*.html

# Autoriser le blog et les articles
Allow: /blog.html
Allow: /blog-*.html

# Sitemap
Sitemap: https://www.mc61constructions.fr/sitemap.xml

# Délai entre les requêtes (en secondes) pour ne pas surcharger le serveur
Crawl-delay: 1

# Règles spécifiques pour les bots agressifs
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: DotBot
Crawl-delay: 10

# Bloquer certains bots indésirables
User-agent: MJ12bot
Disallow: /

User-agent: SemrushBot
Disallow: /adminrootxyw/

User-agent: AhrefsBot
Disallow: /adminrootxyw/