llms.txt vs robots.txt vs sitemap.xml

La réponse en 30 secondes

robots.txt indique aux robots ce qu’ils ne peuvent pas explorer. sitemap.xml indique aux robots quelles URL existent. llms.txt indique aux systèmes d’IA ce que votre site représente vraiment, dans un format optimisé pour leur lecture.

Ils ne font pas double emploi. Trois rôles distincts, trois audiences distinctes. Un site moderne a intérêt à publier les trois.

1. robots.txt — le videur

Rôle : indiquer aux robots les chemins qu’ils ne sont pas autorisés à explorer.

Emplacement : toujours à https://votresite.com/robots.txt. Chaque sous-domaine possède le sien. Les sous-répertoires ne sont pas pris en compte.

Format : texte brut, une règle par ligne. Défini par le Robots Exclusion Protocol, formalisé dans la RFC 9309 en septembre 2022.

Qui le lit : les robots bien configurés — Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot, etc. Les scrapers malveillants l’ignorent ; c’est une caractéristique, pas un défaut. robots.txt est une demande, pas une contrainte technique.

User-agent: *
Disallow: /admin
Disallow: /cart

User-agent: GPTBot
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

Erreur courante : bloquer GPTBot, ClaudeBot ou PerplexityBot avec une règle de refus par défaut. Dans ce cas, votre llms.txt est inutile — ces robots ne viendront pas le lire. Notre vérificateur détecte cela automatiquement.

2. sitemap.xml — la fiche d’index

Rôle : indiquer aux robots quelles URL existent sur votre site, avec des métadonnées optionnelles (date de dernière modification, fréquence de changement, priorité).

Emplacement : conventionnellement à /sitemap.xml, mais la référence canonique provient soit de Google Search Console, soit d’une directive Sitemap: dans robots.txt. Les grands sites divisent leur contenu en plusieurs sitemaps regroupés dans un index de sitemaps.

Format : XML. Le schéma est disponible sur sitemaps.org (dernière révision en 2008, toujours faisant référence).

Qui le lit : les moteurs de recherche qui souhaitent un inventaire complet des URL — Google, Bing, Yandex, etc. Non consommé directement par les assistants IA aujourd’hui.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://yoursite.com/</loc>
    <lastmod>2026-05-01</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://yoursite.com/pricing</loc>
    <lastmod>2026-04-15</lastmod>
  </url>
</urlset>

Erreur courante : croire qu’un sitemap force Google à indexer une URL. Ce n’est pas le cas. Un sitemap est un indice sur l’existence et la fraîcheur du contenu ; les décisions de classement et d’indexation restent du ressort du moteur de recherche.

3. llms.txt — la table des matières pour l’IA

Rôle : fournir à un système d’IA un résumé Markdown structuré de votre site, afin qu’il puisse répondre à des questions vous concernant sans avoir à analyser l’intégralité de votre HTML, de votre navigation, de vos scripts et de vos bandeaux cookies.

Emplacement : toujours à https://votresite.com/llms.txt. Les sites plus importants peuvent également publier llms-full.txt, une concaténation des corps d’articles complets en Markdown.

Format : Markdown avec une structure fixe : un titre H1 pour le nom du site, une citation en bloc pour le résumé, des sections ##, et des entrées de liste sous la forme - [nom](url) : description. Spécification de Jeremy Howard chez Answer.AI, publiée en septembre 2024.

Qui le lit : les agents IA et les robots lorsqu’ils ont besoin d’ancrer une réponse dans votre site. Déjà adopté par Anthropic, Stripe, Cloudflare, Vercel, Mintlify, et une liste croissante de grands sites SaaS. L’adoption parmi les 1 000 premiers sites reste inférieure à 1 %, mais la courbe est ascendante.

# Acme Corp

> Open-source database for full-text search across structured documents.

## Docs
- [Quickstart](https://acme.example/docs/quickstart): Get a cluster running in 5 minutes.
- [API reference](https://acme.example/docs/api): Full HTTP API.

## Optional
- [Architecture](https://acme.example/blog/architecture): How the index is sharded.

Erreur courante : le placer au mauvais endroit (/.well-known/llms.txt, ou dans un sous-répertoire). La spécification est sans ambiguïté : il doit se trouver à la racine.

Comment les trois fonctionnent ensemble

Ils se recoupent moins qu’on ne le pense.

• robots.txt définit la frontière des permissions — ce qui peut être exploré.
• sitemap.xml décrit la surface totale du site — chaque URL que vous souhaitez faire connaître à un moteur de recherche.
• llms.txt sélectionne le sous-ensemble essentiel — le pointeur éditorial “voici l’essentiel” destiné à l’IA.

Un site de taille modeste compte typiquement 50 à 500 URL dans son sitemap, mais seulement 5 à 25 entrées dans son llms.txt. C’est tout l’intérêt. llms.txt est éditorial, non exhaustif.

Que se passe-t-il s’il m’en manque un ?

Pas de robots.txt

Tous les robots adoptent par défaut le comportement “tout autorisé.” C’est généralement acceptable ; un robots.txt n’est nécessaire que si vous avez des chemins à protéger (administration, staging, pages de résultats de recherche). Toutefois, sans directive Sitemap:, les moteurs de recherche se rabattent sur la découverte par liens, ce qui est plus lent.

Pas de sitemap.xml

Les moteurs de recherche explorent votre site et découvrent les URL en suivant les liens. Pour les sites avec un bon maillage interne, cela fonctionne correctement. Pour les contenus très imbriqués ou paginés (grands catalogues, archives), vous constaterez une indexation plus lente sans sitemap.

Pas de llms.txt

Les assistants IA analysent votre HTML complet — navigation, scripts, bandeaux cookies, tout — et tentent de synthétiser votre site à partir de ce bruit. Certains y parviennent, mais vous laissez la réponse au hasard. Les sites qui publient un llms.txt propre font état d’une consommation de tokens jusqu’à 10 fois inférieure lorsque les systèmes IA les citent, ce qui influence directement la fréquence des citations.

La liste de contrôle pour se lancer

1. Publiez un sitemap.xml — la plupart des CMS (WordPress, Webflow, Shopify, Next.js) le génèrent automatiquement. Vérifiez sa présence à /sitemap.xml.
2. Publiez un robots.txt — même un fichier minimal (User-agent: * / Allow: / / Sitemap: https://votresite.com/sitemap.xml) vaut mieux que rien. Assurez-vous de ne pas bloquer accidentellement les robots IA.
3. Générez un llms.txt — collez votre URL dans notre générateur pour obtenir un brouillon que vous pourrez modifier et publier.
4. Validez-le — passez le fichier dans le validateur pour vous assurer de sa conformité à la spécification avant de l’annoncer.

FAQ