AI-Crawlers Negeren llms.txt, Maar AI-Agents Niet
Dries Buytaert, oprichter van Drupal, publiceerde onlangs een datagedreven analyse van llms.txt en markdown-adoptie door AI-crawlers. Hij vond dat nul AI-crawlers zijn llms.txt-bestand benaderden, dat markdown-pagina's het totale crawlverkeer met 7% verhoogden en dat geen enkele crawler HTTP content negotiation gebruikte. Hij noemde llms.txt "een oplossing op zoek naar een probleem."
De data klopt, maar ze gaat over crawlers, terwijl de standaard voor agents bedoeld is.
Wat de Data Laat Zien
Dries analyseerde zijn Cloudflare-logs nadat hij al zijn pagina's beschikbaar had gemaakt als markdown-bestanden. De bevindingen:
Over Acquia's volledige hosting-infrastructuur, een van de grootste Drupal-hostingplatformen, was llms.txt goed voor 0,001% van 400 miljoen verzoeken. Alle 52 verzoeken aan llms.txt kwamen van SEO-audittools, niet van AI-systemen.
Leon Furze voerde een vergelijkbaar experiment uit op zijn WordPress-blog. Het resultaat was hetzelfde. Markdown- en HTML-pagina's werden ongeveer even vaak gecrawld, het verkeer veranderde niet meetbaar en llms.txt had geen zichtbaar effect op crawlergedrag.
De data is duidelijk: AI-crawlers gebruiken llms.txt niet. Dat zegt weinig over agents, net zoals het tellen van vrachtwagens op een fietspad weinig zegt over de vraag of fietsers het gebruiken.
Crawlers en Agents Hebben Verschillende Taken
Dries' analyse behandelt alleen crawlers. Crawlen voor training is niet de enige manier waarop AI-systemen webcontent bereiken, en beide groepen gedragen zich verschillend:
| AI-Crawlers | AI-Agents | |
|---|---|---|
| Doel | Content scrapen voor trainingsdata | Een taak voltooien voor een specifieke gebruiker |
| Gedrag | Massaal crawlen, alles pakken | Gericht ophalen, alleen wat nodig is |
| Token-efficiëntie | Irrelevant, data wordt offline verwerkt | Cruciaal, elke token kost tijd en geld |
| Contentformaat | HTML is prima, ze strippen het toch | Markdown bespaart 80% aan tokens |
| Discovery | Sitemaps, link crawling | llms.txt, content negotiation, tool-manifesten |
| Voorbeelden | GPTBot, ClaudeBot, Google-Extended | Claude Code, Cursor, Windsurf, Bun |
AI-crawlers verzamelen zoveel mogelijk van het web. Hun pipelines zijn jaren geleden gebouwd voor HTML-scraping, en een paar sites met raw markdown geven weinig reden om die setup te veranderen.
AI-agents halen specifieke pagina's op om een specifieke taak op te lossen, en elke token telt. Een blogpost die uit 20% content en 80% navigatie-HTML bestaat, verspilt het grootste deel van die tokens. Markdown en llms.txt pakken dat direct aan.
Coding Agents Gebruiken Deze Standaarden Al
Buiten crawlerlogs gebruiken al meerdere agent-tools deze standaarden:
Claude Code
Anthropic's coding-agent stuurt Accept-headers die markdown prefereren bij het ophalen van documentatie. Het zoekt ook naar llms.txt om relevante content op een site te ontdekken.
Bun
De JavaScript-runtime begon content negotiation-headers te sturen bij het ophalen van documentatiepagina's, met voorkeur voor markdown wanneer beschikbaar.
Cursor & Windsurf
AI-gedreven code-editors halen documentatie op om ontwikkelaars te helpen. Ze profiteren direct van markdown-versies die structuur behouden zonder HTML-ruis.
Cloudflare
Biedt nu content negotiation en markdown-transformatie in betaalde abonnementen, wat erop wijst dat platformaanbieders vraag van agents zien.
Sommige documentatieplatformen plaatsen al "agent-richtlijnen" op pagina's die agents naar llms.txt verwijzen voor contentdiscovery. De adoptie van content negotiation en llms.txt komt uit developer tooling voor agents, niet uit trainingspipelines.
Adoptie Is Branchespecifiek
De adoptie van llms.txt en markdown is ook sterk gericht op developer-documentatie. Dries heeft een persoonlijke blog, geen docs-site, dus zijn data dekt dat gebruik niet.
Coding agents halen vaak documentatiepagina's op. Als Claude Code een library-API moet begrijpen, of Cursor de configuratieopties van een framework nodig heeft, lezen ze documentatie. Op die pagina's geldt:
- Markdown-versies besparen de meeste tokens, omdat docs-pagina's veel navigatie en sidebars bevatten
- llms.txt geeft agents een gecureerd startpunt naar de meest relevante pagina's
- Met content negotiation krijgen agents schone content zonder de UI-schil
Vercel, Cloudflare, Stripe en andere developer-gerichte bedrijven hebben deze standaarden al geïmplementeerd. Het Vercel State of AEO-rapport beveelt llms.txt aan als onderdeel van zijn advies over AI-zichtbaarheid. Vercel heeft zelfs AEO-tracking voor coding agents gebouwd om deze adoptie te meten.
Waarom Crawlers llms.txt Waarschijnlijk Nooit Zullen Gebruiken
Vier redenen verklaren waarom crawlers llms.txt negeren:
- Schaaleconomie. Crawlers verwerken miljarden pagina's. Een gecureerde discovery-stap per domein voegt complexiteit toe voor weinig winst, en ze hebben al sitemaps en linkgrafen
- Trainingsprikkels. Training profiteert van meer data. Een gecureerde llms.txt die naar 20 belangrijke pagina's wijst, werkt daartegen
- Bestaande infrastructuur. HTML-scrapingpipelines zijn volwassen, dus ze opnieuw bouwen voor markdown heeft geen duidelijke business case
- Inhoudscontrole. Een crawler krijgt meer context als hij alles pakt, dus een gecureerde lijst levert hem niets op
Het uitblijvende crawlerverkeer toont dus niet aan dat llms.txt faalt. Het laat zien dat llms.txt niet voor crawlers is gebouwd.
Readiness Gaat Niet over ROI van Vandaag
Dries' artikel sluit af met praktisch advies: focus op "helder schrijven, gezaghebbende content en tijdige publicatie" in plaats van llms.txt. Dat advies is verstandig voor een persoonlijke blog, maar het laat agentverkeer buiten beschouwing.
Een site kan zich op agentverkeer voorbereiden voordat dat verkeer in de logs zichtbaar is. Een llms.txt en markdown-antwoorden toevoegen kost weinig, en meerdere agenttools vragen er al om.
Coding agents lezen nu documentatie voor veel ontwikkelaars, en AI-gedreven browsingagents zoals ChatGPT Search en Claude Search zijn nog in ontwikkeling. Die agents kunnen sites met markdown en llms.txt al lezen.
Wat Je Moet Implementeren
Deze vier stappen volgen de agent-adoptie, niet de crawler-adoptie:
1. llms.txt
Maak een gecureerd startpunt voor agents. Lijst je belangrijkste pagina's op met korte beschrijvingen. Het kost weinig moeite en helpt elke agent die naar het bestand zoekt.
2. Content Negotiation
Serveer markdown wanneer agents erom vragen in de Accept-header. Cloudflare biedt dit kant-en-klaar aan. Markdown bespaart agents 80% aan token-overhead.
3. Gestructureerde Data
JSON-LD, Schema.org-types en FAQPage-schema maken je content machineleesbaar voor zowel crawlers als agents. Geciteerde sites dragen veel vaker FAQPage-schema (een 8x correlatie), al vond een Ahrefs-studie uit 2026 dat het toevoegen van schema op zichzelf citaties niet direct verandert.
4. Crawlertoegang
Sta AI-crawlers toe in robots.txt. Blokkeer trainingsbots als je wilt, maar houd zoekbots open. Zonder toegang kunnen crawlers je content niet zien.
De eerste twee zijn agent-specifiek. De laatste twee helpen zowel crawlers als agents.
De Conclusie
Dries' data is accuraat: AI-crawlers gebruiken llms.txt niet. Maar crawlergedrag zegt weinig over llms.txt-adoptie, net zoals browserverkeer weinig zegt over hoe goed een API werkt. Het publiek is anders.
Coding-assistenten, browsingagents en taakautomatiseringstools zijn de beoogde gebruikers van llms.txt en content negotiation. Hun verkeer is kleiner dan het crawlerverkeer, maar zij zijn het publiek waarvoor deze standaarden bestaan.
"Gebruiken AI-crawlers llms.txt vandaag?" is de verkeerde vraag. Een betere vraag is of je site agents bedient die al pagina's ophalen.
Bronnen
- Dries Buytaert: Markdown, llms.txt, and AI Crawlers (Oorspronkelijke analyse van crawlergedrag met Cloudflare-logdata)
- Leon Furze: Letting the Robots In (Onafhankelijke replicatie op WordPress met vergelijkbare bevindingen)
- llms.txt-specificatie (Het oorspronkelijke voorstel van Jeremy Howard)
- Hoe Vercel AEO-tracking voor Coding Agents Bouwde (Vercel's aanpak om agent-adoptie te meten)
- Cloudflare: Markdown for Agents (Content negotiation en markdown-transformatiefunctie)
- IsAgentReady: De Staat van AEO: Belangrijkste Inzichten uit Vercel's 2026 Rapport