Wat je na dit artikel weet
- Waarom je site uit ChatGPT en Perplexity kan verdwijnen zonder dat je ook maar iets veranderde.
- Het verschil tussen trainingsbots en antwoordbots, en waarom je er maar één wil buitenhouden.
- Hoe je in vijf minuten controleert of jouw site AI-bots blokkeert.
- Wat je instelt zodat je zichtbaar blijft waar je dat wil.
Inhoud van dit artikel
"We doen alles goed, onze site staat netjes in Google, en toch vermeldt ChatGPT ons nergens. Hoe kan dat?" Het is een vraag die we de laatste tijd vaker krijgen, en in een verrassend aantal gevallen is het antwoord pijnlijk simpel: de site blokkeert de AI-bots, zonder dat iemand daar bewust voor koos.
Dat klinkt als een instellingsfoutje, maar het is intussen vaak de standaard. Sinds halverwege 2025 blokkeert Cloudflare, de dienst die voor een groot deel van het internet het verkeer regelt, AI-crawlers standaard. Wie na die datum een nieuw domein opzette achter Cloudflare, heeft goede kans dat de deur voor AI dichtzit. En niemand kreeg daar een duidelijke waarschuwing over.
Twee soorten AI-bots, en je wil er maar één buitenhouden
Voor je iets aanpast, moet je dit onderscheid kennen, want het is de bron van bijna alle fouten.
- Trainingsbots. Die halen je content op om er AI-modellen mee te trainen. Denk aan GPTBot of CCBot. Hou je die buiten, dan bescherm je je teksten tegen gratis hergebruik, zonder dat het je zichtbaarheid schaadt.
- Antwoordbots. Die halen je content op wanneer iemand een vraag stelt, om jou te kunnen citeren in het antwoord. Denk aan de zoekbots achter ChatGPT, Perplexity en Claude. Blokkeer je die, dan kan je simpelweg niet meer opduiken in die antwoorden.
Kern van de zaak: de meeste sites die "AI blokkeren" wilden eigenlijk alleen hun teksten beschermen tegen training. Maar door alles in één klik buiten te zetten, gooien ze ook de antwoordbots eruit. Het resultaat is dat ze onzichtbaar worden net daar waar steeds meer klanten beginnen te zoeken.
Als de begrippen rond AI-zoeken nieuw voor je zijn, lees dan eerst GEO vs SEO: wat is het verschil en wat moet jij als KMO bijhouden?. Daar leggen we uit waarom vindbaar zijn in AI-antwoorden een apart spel wordt naast je gewone Google-ranking.
Waarom dit jou overkomt zonder dat je iets deed
Cloudflare riep in juli 2025 zijn "Content Independence Day" uit en draaide de standaard om: nieuwe domeinen blokkeren AI-crawlers tenzij je actief iets anders kiest. In het dashboard zit daar één knop voor, "Block AI bots". Staat die op "Block on all pages", dan gaat in één klik alles dicht. Waar je die knop precies vindt, tonen we verderop. Bedoeld als bescherming, maar zonder dat duidelijk wordt dat je daarmee ook je plek in AI-antwoorden weggeeft.
Daar komt nog bij dat je ook via je robots.txt, het kleine tekstbestand dat crawlers vertelt wat ze mogen, per ongeluk te veel kan dichtzetten. Een regel die ooit goed bedoeld was, kan vandaag de verkeerde bots tegenhouden.
Opgelet: robots.txt werkt op vertrouwen. Nette bots respecteren het, maar niet alle bots doen dat. De blokkering via Cloudflare zit een laag dieper en is wel afdwingbaar. Je moet dus beide plekken checken, niet één.
De val van "blokkeer gewoon alle AI"
De grootste misvatting is dat alle AI buitenhouden je veilig maakt. Voor je merkbekendheid is het net het tegenovergestelde. Wie volledig dichtgaat, verdwijnt uit de antwoorden van ChatGPT, uit de citaten van Perplexity, en uit wat die tools aan je potentiële klanten tonen.
Eén belangrijke nuance loopt vaak fout, en die gaat over Google. De AI-overzichten van Google draaien op dezelfde gewone Googlebot en dezelfde index als je normale zoekresultaten. Je hoeft daar dus geen aparte AI-bot voor toe te laten, en je mag Googlebot zeker nooit blokkeren. Er bestaat wel een aparte naam, Google-Extended, maar die regelt enkel of je content gebruikt mag worden om Google's modellen te trainen. Hem blokkeren haalt je dus niet uit de AI-overzichten. Handig om te weten als iemand je daar bang voor probeert te maken.
Zo controleer je het in vijf minuten
Je hebt hier geen dure tool voor nodig om een eerste beeld te krijgen.
- Kijk naar je robots.txt. Tik je domein in gevolgd door /robots.txt (bijvoorbeeld jouwsite.be/robots.txt). Zie je daar regels met Disallow: / onder namen als OAI-SearchBot, PerplexityBot of Claude-SearchBot, dan hou je antwoordbots buiten.
- Check je Cloudflare-instellingen. Gebruik je Cloudflare, ga dan naar Security en dan Settings, filter op Bot traffic en kijk bij "Block AI bots". Staat die op "Block on all pages", dan gaat alles dicht en maakt je robots.txt niet eens meer uit. Zet je hem op "Do not block (off)", dan laat je alles toe.
- Test of je echt opduikt. Stel ChatGPT of Perplexity een vraag waarop jouw bedrijf het antwoord zou moeten zijn, en kijk of en hoe je vermeld wordt. Doet een concurrent het wel en jij niet, dan heb je een aanwijzing.
Praktijkvoorbeeld: een installatiebedrijf uit de regio Antwerpen stond perfect in Google, maar dook nergens op in AI-antwoorden. De oorzaak was de standaard Cloudflare-blokkering op hun nieuwe site. Eén instelling terugdraaien volstond om weer kandidaat te zijn voor vermelding.
Wat je dan instelt
De aanpak is eenvoudig: laat de antwoordbots binnen, en kies zelf of je de trainingsbots buiten wil. Een robots.txt die dat doet, ziet er ongeveer zo uit.
# Antwoordbots toelaten, zodat je in AI-antwoorden kan verschijnen
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# Trainingsbots buitenhouden, optioneel, als je je teksten wil beschermen
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /Vuistregel: dit is een voorbeeld, geen wet. De namen en het gedrag van bots verschuiven om de paar maanden, er duiken nieuwe op en oude veranderen van rol. Behandel zo'n lijstje dus als een momentopname die je af en toe nakijkt. En let op: gebruik je Cloudflare, dan blokkeert de algemene knop "Block AI bots" zowel de trainings- als de antwoordbots tegelijk, en die blokkering gaat boven je robots.txt. Wil je daar de antwoordbots toch binnenlaten, regel het dan per bot in "AI Crawl Control" in plaats van enkel in je robots.txt. Blokkeer Googlebot in geen geval, want dat is je gewone zoekverkeer.
Conclusie
De vervelende waarheid is dat een hoop bedrijven onzichtbaar zijn in AI-antwoorden door een instelling die ze nooit bewust kozen. Het goede nieuws is dat het een van de weinige AI-problemen is die je in minuten oplost. Geen dure trucs, geen maandabonnement, gewoon de juiste deur openzetten.
De moeite zit niet in de fix, maar in het opmerken dat er een probleem is. Daarom is de eerste stap altijd controleren, niet veronderstellen.
Wil je zwart op wit weten of jouw site door AI-bots gelezen kan worden en hoe vindbaar je bent in AI-zoekmachines? Doe een gratis scan met okfor.ai, onze tool die precies dat in kaart brengt. Wil je daarna dat we de instellingen voor je nakijken en goedzetten, dan helpt onze AI-optimalisatie je verder. Contacteer ons gerust met je vraag.
