Live meting
AI-toegang tot innerbloom-agency.com
Je robots.txt kan ja zeggen tegen AI-crawlers terwijl je host ze alsnog tegenhoudt. Wij controleren daarom elke dag of de crawlers van ChatGPT, Claude, Perplexity, Google en Grok onze pagina's echt kunnen ophalen, en of ze dezelfde inhoud zien als een gewone bezoeker. Dit is de uitslag.
Alle 7 AI-crawlers komen binnen
Alle crawlers komen binnen en zien dezelfde inhoud als een gewone browser.
Laatste controle: 3 augustus om 08:15. Meten sinds 1 augustus 2026. 3 metingen bewaard.
Uitslag per crawler
| Crawler | Komt binnen | Ziet zelfde inhoud | Dagen op rij goed |
|---|---|---|---|
| Grok | Ja | Ja | 3 |
| Google-Extended | Ja | Ja | 3 |
| PerplexityBot | Ja | Ja | 3 |
| Claude-SearchBot | Ja | Ja | 3 |
| ClaudeBot | Ja | Ja | 3 |
| OAI-SearchBot | Ja | Ja | 3 |
| GPTBot | Ja | Ja | 3 |
Hoe we meten
Elke dag vragen we dezelfde pagina's op met de user-agent van elke AI-crawler, en daarnaast met een gewone browser als ijkpunt. Een controle staat op groen als drie dingen kloppen: de server antwoordt met status 200, er staat een H1 in de HTML, en de omvang van die HTML wijkt maximaal 25 procent af van wat de browser krijgt. Die derde toets is de belangrijkste, want een crawler kan netjes binnengelaten worden en toch een lege pagina krijgen.
Gemeten pagina's:
- https://innerbloom-agency.com/kennisbank/ai-crawlers-toestaan-therapeut
- https://innerbloom-agency.com/marketing-voor-somatische-therapeuten
- https://innerbloom-agency.com/
De uitslag staat ook als data op /ai-toegang.json, zodat AI-modellen en andere systemen onze meting rechtstreeks kunnen lezen in plaats van hem uit een pagina te moeten halen.
Zelf controleren
Deze controle is geen geheim. In onze gids staat de check waarmee je in tien minuten ziet of jouw eigen site AI-crawlers echt doorlaat, inclusief wat je bij je host moet nakijken.
Naar de gids over AI-crawlers