robots.txt-tester voor AI-crawlers
Vul een domein in of plak een robots.txt-bestand. De tester toont voor elke AI-crawler die de scanner controleert of een pad is toegestaan of geblokkeerd, en welke regel dat bepaalt.
Volledige scan
Bekijk het volledige beeld van je AI-gereedheid
robots.txt is een van 70 controles. De volledige scan test ook llms.txt, gestructureerde data, agentprotocollen en beveiligingsheaders.