robots.txt aanwezig

Waarom het belangrijk is

robots.txt is de standaard die crawlers vertelt wat ze mogen ophalen. AI-crawlers zoals GPTBot en ClaudeBot lezen dit bestand eerst.

Zo los je het op

Lever een /robots.txt als platte tekst met minimaal een geldige User-agent-groep.

1. Maak in de root van de site een bestand met de naam robots.txt.

2. Voeg een User-agent-groep toe met Allow- of Disallow-regels volgens RFC 9309.

   User-agent: *
   Allow: /
   
   Sitemap: https://example.com/sitemap.xml

3. Lever het bestand met HTTP 200 en het Content-Type text/plain.

Test het met de gratis tool

Controleren

Start een nieuwe scan voor dit checkpoint: