Gratis AI-check
Techniek · 4 min lezen

robots.txt voor AI-bots

Blokkeer je per ongeluk de bots van ChatGPT of Perplexity, dan kunnen die je pagina's niet ophalen als een koper een vraag stelt. Zo stel je robots.txt in voor AI-bots, per bot en per doel.

Vindo-redactieBijgewerkt 801 woorden

Kort antwoord

Wil je genoemd worden in AI-antwoorden, laat dan in elk geval de zoek- en gebruikersbots toe: OAI-SearchBot en ChatGPT-User (OpenAI), Claude-SearchBot en Claude-User (Anthropic), PerplexityBot en Perplexity-User, en Bingbot (voor Copilot). Trainingsbots zoals GPTBot, ClaudeBot, Google-Extended en CCBot kun je apart toelaten of blokkeren: dat bepaalt of je content gebruikt wordt om modellen te trainen, niet of je in zoekantwoorden kunt verschijnen. Check ook je CDN of firewall: die blokkeert AI-bots soms buiten robots.txt om.

Twee soorten AI-bots

De belangrijkste les: niet elke AI-bot doet hetzelfde. De grote aanbieders gebruiken aparte bots voor verschillende doelen.

  • Trainingsbots verzamelen content om toekomstige modellen te trainen. Blokkeren betekent: je content gaat niet (meer) mee in de training.
  • Zoekbots bouwen een index op waarmee de assistent actuele antwoorden geeft, met bronnen erbij.
  • Gebruikersbots halen een pagina op omdat een gebruiker daar op dat moment om vraagt, bijvoorbeeld door een link te plakken.

Voor zichtbaarheid in antwoorden zijn vooral de zoek- en gebruikersbots belangrijk. Of je trainingsbots toelaat, is een aparte afweging. Voor de meeste SaaS-bedrijven die gevonden willen worden, is toelaten de logische keuze: hoe beter een model je kent, hoe beter het je kan beschrijven.

Overzicht per aanbieder

AanbiederUser-agentDoel
OpenAI (ChatGPT)GPTBotTraining
OAI-SearchBotZoeken in ChatGPT
ChatGPT-UserOphalen op verzoek van een gebruiker
Anthropic (Claude)ClaudeBotTraining
Claude-SearchBotZoeken in Claude
Claude-UserOphalen op verzoek van een gebruiker
PerplexityPerplexityBotIndex voor zoekantwoorden
Perplexity-UserOphalen op verzoek van een gebruiker
Google (Gemini)Google-ExtendedToken voor gebruik in Gemini-training en -grounding. Geen aparte crawler; Googlebot haalt op.
Microsoft (Copilot)BingbotBing-index, waar Copilot op leunt
AppleApplebot-ExtendedToken voor gebruik in Apple's AI-training
Common CrawlCCBotOpen webarchief, veel gebruikt als trainingsdata

Aanbieders voegen geregeld bots toe of passen namen aan. Controleer de actuele documentatie van elke aanbieder voordat je regels aanpast.

Een uitzondering: Google AI Overviews

Google-Extended bepaalt niet of je in AI Overviews of AI Mode in Google Zoeken verschijnt. Die functies gebruiken de gewone zoekindex van Googlebot. Je kunt je daar alleen uit halen met maatregelen die ook je gewone zoekresultaten raken, zoals nosnippet. Voor een SaaS-bedrijf dat gevonden wil worden is dat zelden verstandig.

Een voorbeeld voor SaaS-sites

Dit voorbeeld laat alle genoemde AI-bots toe en houdt de gewone regels voor de rest van je site aan. Pas de Disallow-regels aan op je eigen situatie, zoals een app-omgeving of interne zoekresultaten.

# Alle bots: houd app en interne zoekpagina's buiten de index
User-agent: *
Disallow: /app/
Disallow: /zoeken?

# AI-zoek-, gebruikers- en trainingsbots expliciet toegestaan
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /app/
Disallow: /zoeken?

Sitemap: https://www.jouwsoftware.nl/sitemap.xml

Let op: een bot volgt alleen de groep die het best bij zijn naam past. Heeft een bot een eigen groep, dan negeert hij de regels onder User-agent: *. Herhaal je Disallow-regels dus in elke groep.

Wil je trainen niet toestaan maar wel zichtbaar zijn in zoekantwoorden? Zet dan GPTBot, ClaudeBot, Google-Extended, Applebot-Extended en CCBot in een eigen groep met Disallow: /, en laat de zoek- en gebruikersbots toe.

De verborgen blokkade: CDN en firewall

robots.txt is een verzoek, geen slot. Maar andersom kan je site AI-bots ook blokkeren zonder dat het in robots.txt staat. Firewalls en CDN's zoals Cloudflare hebben instellingen om AI-crawlers of "bots" in het algemeen te weren, en die staan soms standaard aan. De bot krijgt dan een foutmelding of een uitdaging in plaats van je pagina.

Zo check je het:

  1. Kijk in de bot- of beveiligingsinstellingen van je CDN of hostingpartij naar regels voor AI-crawlers.
  2. Doe een request met de user-agent van een AI-bot (bijvoorbeeld met curl -A "OAI-SearchBot") en kijk of je een normale pagina terugkrijgt. Sommige CDN's controleren ook het IP-adres, dus een geslaagde test is geen garantie; een mislukte test is wel een duidelijk signaal.
  3. Kijk in je serverlogs of de bots echt langskomen, en welke statuscodes ze krijgen.

En dan nog: kan de bot je content lezen?

Toegang is stap één. Stap twee is dat de bot iets vindt. Veel AI-crawlers voeren geen JavaScript uit. Wordt je content pas in de browser opgebouwd, dan zien ze een lege pagina. Controleer de paginabron van je belangrijkste pagina's: staan je koppen en productuitleg in de HTML? Zo niet, overweeg server-side rendering of statische generatie voor je marketingpagina's.

En llms.txt?

llms.txt is een voorstel voor een bestand dat een AI-vriendelijke samenvatting van je site geeft. Er is geen bewijs dat de grote AI-assistenten het gebruiken om te bepalen welke merken ze noemen. Het kost weinig en kan geen kwaad. Zet het niet bovenaan je lijst.

Wil je weten hoe jouw site ervoor staat? De gratis AI-check test je robots.txt per AI-bot en kijkt of je content zonder JavaScript leesbaar is.

Gratis AI-check

Noemt ChatGPT jou, of je concurrent?

Vul je site en productcategorie in. We stellen een paar kopersvragen aan AI-assistenten en checken of AI-bots je site mogen lezen. Binnen twee werkdagen heb je een mini-rapport in je mailbox.

  • Word je genoemd, en wie wel?
  • Mogen GPTBot, ClaudeBot en PerplexityBot je site lezen?
  • Staat je content in de HTML of alleen achter JavaScript?

Een paar vragen geven een indicatie, geen meting. Dat verschil leggen we in het mini-rapport uit.