Ga naar inhoud
Methodologie

AI-crawlerrichtlijnen

ia.ai-crawler-directives · 1.2

Vinden MOET Scannerdata AR-FIND-01

Waarom het belangrijk is

robots.txt bepaalt welke paden crawlers mogen ophalen. Dit checkpoint meet de toegang voor bekende AI-user-agents. Het zegt niets over toestemming voor training.

Zo los je het op

Geef de bekende AI-user-agents in robots.txt toegang tot je publieke pagina's.

  1. Zoek de regels in robots.txt die AI-user-agents zoals GPTBot, ClaudeBot en PerplexityBot blokkeren.

  2. Voeg een expliciete Allow-groep toe voor elke AI-user-agent die je publieke pagina's mag ophalen.

    User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

  3. Houd Disallow-regels alleen voor privepaden, bijvoorbeeld /account.

Test het met de gratis tool

Controleren

curl -sf https://{domain}/robots.txt

Verwacht: Geen regel Disallow: / geldt voor GPTBot, ClaudeBot of de groep *

Start een nieuwe scan voor dit checkpoint:

isagentready results {domain} --checkpoint ia.ai-crawler-directives
Details Koppeling, levenscyclus en bronnen
AR-koppeling
Volledige match
Bron van het bewijs
agentready.org AR-FIND-01
Rol in de score
Kern
Toegevoegd
2026-08-24
Herzien
2026-09-02
Methodologieversie
2026-10-22

Checkpointdata (JSON)