Meta robots / X-Robots-Tag

ia.meta-robots · 1.5

Vinden MOET Scannerdata AR-FIND-01

Waarom het belangrijk is

Meta robots-tags en X-Robots-Tag-headers sturen de indexering per pagina. Richtlijnen zoals noindex of noai houden AI-systemen weg van je content.

Verwijder beperkende robots-richtlijnen van pagina's die agents moeten gebruiken.

Zoek noindex, nofollow, nosnippet, noai of noimageai in meta robots-tags en in X-Robots-Tag-headers.
Verwijder de richtlijnen van publieke pagina's, of zet index en follow.
```
<meta name="robots" content="index, follow">
```

curl -sI https://{domain}/

Verwacht: Geen X-Robots-Tag-header met noindex, noai of nosnippet

Start een nieuwe scan voor dit checkpoint:

isagentready results {domain} --checkpoint ia.meta-robots

Details Koppeling, levenscyclus en bronnen