Ga naar inhoud
Methodologie

HTTP-toegankelijkheid voor bots

ia.bot-accessibility · 1.8

Vinden MOET Scannerdata AR-FIND-01

Waarom het belangrijk is

AI-crawlers en agents moeten je pagina's via HTTP kunnen ophalen. Als bots geblokkeerd worden, kunnen AI-systemen je content niet indexeren of gebruiken.

Zo los je het op

Geef legitieme bots HTTP 200 en blokkeer ze niet in de WAF of het CDN.

  1. Vraag de homepage op met een bot-user-agent en noteer de HTTP-status.

  2. Voeg bij status 401 of 403 een WAF- of CDN-regel toe die bekende AI-user-agents toestaat.

    map $http_user_agent $is_ai_bot {
  default       0;
  "~*GPTBot"    1;
  "~*ClaudeBot" 1;
}

  3. Houd rate limits, maar geef geverifieerde AI-crawlers geen challengepagina.

Controleren

curl -s -o /dev/null -w '%{http_code}\n' -A 'GPTBot/1.0' https://{domain}/

Verwacht: 200

Start een nieuwe scan voor dit checkpoint:

isagentready results {domain} --checkpoint ia.bot-accessibility
Details Koppeling, levenscyclus en bronnen
AR-koppeling
Volledige match
Bron van het bewijs
agentready.org AR-FIND-01
Rol in de score
Kern
Toegevoegd
2026-08-24
Methodologieversie
2026-10-22

Checkpointdata (JSON)