Ga naar inhoud
Methodologie

Blokkade van trainingscrawlers

ia.training-crawler-blocking · te.2

Vinden Info Scannerdata AR-FIND-01

Waarom het belangrijk is

Sommige crawlers verzamelen data voor modeltraining. Deze check meldt welke trainingscrawlers robots.txt blokkeert. Het is beleidsinformatie en verandert de score niet.

Zo los je het op

Zet expliciete regels voor trainingscrawlers die passen bij je beleid.

  1. Maak een lijst van de trainingscrawlers die je wilt toestaan of blokkeren, bijvoorbeeld GPTBot, CCBot en Google-Extended.

  2. Voeg per crawler een User-agent-groep met Allow of Disallow toe.

    User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Allow: /

  3. Sta zoek- en gebruikersagents toe, bijvoorbeeld OAI-SearchBot en Claude-User.

Controleren

curl -sf https://{domain}/robots.txt

Verwacht: User-agent-groepen voor de trainingscrawlers die passen bij je beleid

Start een nieuwe scan voor dit checkpoint:

isagentready results {domain} --checkpoint ia.training-crawler-blocking
Details Koppeling, levenscyclus en bronnen
AR-koppeling
Gedeeltelijke match
Bron van het bewijs
agentready.org AR-FIND-01
Rol in de score
Informatief
Toegevoegd
2026-08-24
Methodologieversie
2026-10-22

Checkpointdata (JSON)