Ga naar inhoud
Methodologie

Aanwezigheid in Common Crawl

ia.common-crawl-presence · te.1

Vinden Info Scannerdata

Waarom het belangrijk is

Common Crawl is een publiek webarchief dat veel AI-trainingssets gebruiken. Deze check meldt of het domein in de laatste index staat. Het is alleen informatie en verandert de score niet.

Zo los je het op

Bepaal of je content in publieke trainingsarchieven wilt, en zet daarna CCBot-regels in robots.txt.

  1. Bepaal of de content van de site in publieke trainingsarchieven mag staan.

  2. Voeg voor een opt-out een Disallow-regel voor CCBot toe aan robots.txt.

    User-agent: CCBot
Disallow: /

Controleren

curl -sf 'https://index.commoncrawl.org/collinfo.json' | jq -r '.[0].id'

Verwacht: De id van de nieuwste index. Zoek in die index naar url={domain} om de aanwezigheid te zien.

Start een nieuwe scan voor dit checkpoint:

isagentready results {domain} --checkpoint ia.common-crawl-presence
Details Koppeling, levenscyclus en bronnen
AR-koppeling
Geen AR-practice
Bron van het bewijs
IsAgentReady benchmark
Rol in de score
Informatief
Toegevoegd
2026-08-24
Methodologieversie
2026-10-22

Checkpointdata (JSON)