AI-crawlers toestaan en sturen: robots.txt en llms.txt voor je therapie-praktijk

Een website kan zoekcrawlers blokkeren via robots.txt, een beveiligingsplugin, de hostinglaag of een firewall. Daardoor kan een pagina voor Google bereikbaar zijn terwijl een andere bot geen toegang krijgt. Toegang is een voorwaarde om live gelezen te kunnen worden, geen garantie op een citatie. Dit artikel laat zien hoe je beleid en daadwerkelijke toegang afzonderlijk controleert.

Welke crawler doet wat

Niet elke AI-bot doet hetzelfde. Sommige crawlen voor training (je content wordt opgenomen in een toekomstig model), andere crawlen live voor zoekantwoorden. Je wilt ze meestal allebei toestaan, maar het is goed om het verschil te kennen.

OpenAI (ChatGPT)

GPTBot crawlt voor model-training. OAI-SearchBot crawlt live wanneer iemand in ChatGPT een vraag stelt waar web-search bij hoort. ChatGPT-User crawlt wanneer een gebruiker expliciet een URL deelt of bezoek vraagt. Voor zichtbaarheid in ChatGPT-antwoorden is OAI-SearchBot het belangrijkst.

Anthropic (Claude)

ClaudeBot crawlt voor model-training. anthropic-ai is de bredere bot-categorie. Claude-SearchBot en Claude-User crawlen live voor web-search en directe URL-opvragingen. Sinds 2025 gebruikt Claude actief web-search bij vragen waar dat nuttig is.

Perplexity

PerplexityBot crawlt voor zowel indexering als live antwoorden. Perplexity-User crawlt wanneer een gebruiker iets aanklikt. Perplexity is van alle engines de meest transparante in welke bronnen ze gebruiken.

Google

Googlebot verzorgt de klassieke indexering en kan pagina's ook beschikbaar maken voor AI-functies in Google Search. Google-Extended is een aparte producttoken waarmee site-eigenaren het gebruik van content voor bepaalde Gemini- en trainingsdoeleinden kunnen beheren. Google vermeldt dat Google-Extended geen invloed heeft op opname of ranking in Google Search.

xAI (Grok)

Grok is anders dan de rest: het is verweven met X (Twitter) en gebruikt Live Search om bij iedere vraag het actuele web op te halen. De crawler heet Grok (sommige bronnen zien ook GrokBot). Voor therapeut-praktijken betekent dit twee dingen: sta Grok expliciet toe in je robots.txt en zorg dat je content versheid uitstraalt (recente datum, regelmatige updates). Een actief en eerlijk X-profiel helpt bovendien, omdat Grok sociale signalen vanuit X zwaarder meeweegt dan andere engines.

Stap 1: check je huidige robots.txt

Type in je browser: jouwdomein.nl/robots.txt. Krijg je een 404 (niet gevonden), dan blokkeert je site niets en wordt iedereen toegelaten. Krijg je een bestand met Disallow regels, lees die dan goed door. Een regel als 'User-agent: GPTBot' gevolgd door 'Disallow: /' blokkeert ChatGPT volledig. Zoek naar regels voor GPTBot, ClaudeBot, PerplexityBot, Google-Extended en anthropic-ai.

Stap 2: sta de AI-crawlers expliciet toe

Wil je bepaalde bots bewust toelaten, leg dat dan zonder conflicterende regels vast in robots.txt. Een expliciete Allow is vooral documentatie wanneer er geen bredere Disallow geldt. Controleer altijd ook regels voor bovenliggende paden en de beveiligingslaag van je host:

User-agent: GPTBot: Allow: / | User-agent: OAI-SearchBot: Allow: / | User-agent: ChatGPT-User: Allow: / | User-agent: ClaudeBot: Allow: / | User-agent: anthropic-ai: Allow: / | User-agent: PerplexityBot: Allow: / | User-agent: Google-Extended: Allow: / | User-agent: Grok: Allow: / | User-agent: GrokBot: Allow: /. Sluit af met een Sitemap-regel die naar je sitemap.xml verwijst.

Een opmerking: deze allow-regels zijn een vriendelijk verzoek, geen technische barriere. Wie kwaad wil kan ze negeren. Het echte doel is dat de officiele crawlers van OpenAI, Anthropic, Perplexity, Google en xAI zien dat ze welkom zijn en niet vooraf afhaken.

Stap 3: voeg een llms.txt toe

llms.txt is een voorgesteld, nog niet algemeen ondersteund formaat dat een leesbare kaart van belangrijke pagina's kan geven. Het vervangt geen sitemap.xml, crawlbare HTML of interne links. Gebruik het daarom als aanvullende wegwijzer en verwijs alleen naar canonieke pagina's die je actueel houdt.

Bouw llms.txt zo op: H1 met je praktijknaam, blockquote met een one-liner over wat je doet, korte intro-paragraaf, vervolgens H2-secties (bijvoorbeeld Diensten, Werkwijze, Veelgestelde vragen, Kennisbank) met daaronder een bullet-lijst van markdown-links met een korte uitleg per stuk. Plaats het bestand op jouwdomein.nl/llms.txt.

Stap 4: test of je echt vindbaar bent

Controleer na publicatie eerst robots.txt, de HTTP-status en de serverlogs. Test daarna periodiek dezelfde concrete vragen in meerdere zoek- en antwoordmachines. Geen bronvermelding is geen bewijs van een blokkade; controleer CDN, firewall en hosting afzonderlijk en vergelijk ook de inhoud met andere gebruikte bronnen.

Wanneer je juist NIET wilt dat AI je content gebruikt

Een eerlijke kanttekening: er zijn therapeuten die principieel niet willen dat hun werk in AI-training belandt. Bijvoorbeeld omdat ze waarde hechten aan menselijk-tot-menselijk contact, of omdat ze betaalde content beschermen. In dat geval blokkeer je GPTBot, ClaudeBot, Google-Extended en Grok (training-bots) maar laat je OAI-SearchBot, Claude-SearchBot en PerplexityBot toe. Zo blijf je vindbaar in AI-antwoorden, maar wordt je content niet opgenomen in toekomstige modellen. Let wel: Grok haalt content vooral live op, dus volledig blokkeren betekent ook geen citaties in Grok-antwoorden.

Je zei ja tegen AI-crawlers. Zegt je host dat ook?

Dit is de laag die bijna niemand controleert. Je robots.txt kan perfect staan en toch komt er geen enkele AI-crawler binnen. Want robots.txt is een verzoek aan de bot, terwijl je hosting, CDN of firewall een deur is die daadwerkelijk open of dicht staat. Staat die deur dicht, dan leest de crawler je robots.txt nooit. Hij krijgt een 403 of een captcha en gaat weer weg.

Het effect is vervelend precies omdat het onzichtbaar is: in Google blijf je gewoon staan, je site voelt gezond, en in ChatGPT of Perplexity besta je niet. Er is geen melding, geen waarschuwing, geen rood vinkje.

Wat er sinds 1 juli 2026 anders is

Cloudflare zette AI-crawler-blocking per 1 juli 2026 standaard aan voor nieuwe domeinen. Dat is beleidsmatig te begrijpen, want het geeft site-eigenaren onderhandelingsmacht over hun content. Maar voor een therapiepraktijk die juist gevonden wil worden in AI-antwoorden werkt het tegen je, en het gebeurt zonder dat je er iets voor doet. Ook bij andere partijen zie je vergelijkbare bot-management-standaarden: managed WordPress-hosting met bot-protectie, Vercel en Netlify met firewall-regels, en securityplugins die alles blokkeren wat geen browser lijkt.

De check van tien minuten

• Open je hostingpaneel of Cloudflare-dashboard en zoek naar Bot Management, AI Crawler Control, AI Scrapers, of Super Bot Fight Mode. Staat daar iets op blokkeren, zet de AI-crawlers die je wilt toelaten op toestaan.
• Controleer de firewall- of WAF-regels op ruime patronen zoals blokkeren op user-agent of op datacenter-IP. Die vangen GPTBot en PerplexityBot mee zonder ze bij naam te noemen.
• Vraag om je serverlogs of accesslog van de afgelopen dertig dagen en zoek op GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot en Google-Extended. Nul hits is geen bewijs van een blokkade: de bot kan ook nog niet langs zijn geweest. Controleer daarom of er überhaupt een verzoek was en kijk bij aanwezige hits naar statuscode en herkomst-IP.
• Kijk naar de statuscodes bij die hits. Een 200 is goed. Een 403, 429 of een challenge-pagina betekent dat de crawler wel aanklopte en werd tegengehouden.
• Heb je een securityplugin op WordPress, controleer dan of die een eigen bot-blocklist heeft. Zet de AI-crawlers daar expliciet op de whitelist.
• Test na de aanpassing met een simpele opdracht aan ChatGPT of Perplexity: laat een concrete pagina van je site samenvatten. Kan het model de pagina niet openen, dan is er nog een deur dicht.

Deze check hoort thuis in je kwartaalonderhoud, niet in je eenmalige opleverlijst. Bot-beleid bij hosts en CDN's verandert zonder aankondiging, en een migratie of een nieuw securitypakket kan de deur opnieuw sluiten.

Wat je vastlegt zodra het werkt

Schrijf op welke crawlers je bewust toelaat, waar dat is ingesteld (robots.txt, CDN, firewall, plugin) en wanneer je het voor het laatst hebt gecontroleerd. Zo hoeft niemand, ook je webbouwer niet, later te gokken of een blokkade een keuze was of een standaardinstelling.

Verder lezen

Dit artikel vormt de technische toegangslaag onder AI-search voor therapeuten. Voor de inhoudelijke kant lees je E-E-A-T voor zorgcontent. Daarna kun je AI-citaties meten en met GEO-fouten vermijden controleren of je pagina ook helder en betrouwbaar genoeg is om als bron te dienen.

Google Search Central publiceerde in juli 2026 een set officiële resources over optimaliseren voor generatieve AI, inclusief het nieuwe Generative AI-prestatierapport in Search Console. Voor je crawler-instellingen betekent dat: naast toegang toestaan moet je nu ook kunnen laten zien wat het oplevert.

• Combineer je robots.txt-instellingen met een maandelijkse check van het Generative AI-rapport in Search Console. Zie je geen impressies terwijl je crawlers wel toestaat? Dan zit het probleem in structuur of autoriteit, niet in toegang.
• Google's officiële gids benadrukt: alleen toestaan is niet genoeg als je content niet indexeerbaar en canoniek helder is. Controleer per pagina dat er één canonical is en dat de kop de zoekvraag beantwoordt.
• Overweeg logbestanden van je hosting één keer per kwartaal te laten scannen op crawler-hits van GPTBot, ClaudeBot, PerplexityBot en Google-Extended. Dat vertelt je of je toegang praktisch werkt, niet alleen op papier.