Actueel
Wil je dat AI uw website scant? Of niet? Zo stelt u dat in!
Google, Anthropic, OpenAI en Microsoft gaan één signaal in robots.txt respecteren voor AI-training. Lees wat dat betekent voor uw site en hoe u een bewuste keuze maakt.
Steeds meer AI-tools lezen websites om antwoorden te geven of om modellen te trainen. Als u een bedrijfswebsite of webshop heeft, wilt u weten wie uw teksten mag gebruiken. Tot voor kort betekende dat aparte regels per AI-bedrijf. Dat wordt eenvoudiger.
Google, Anthropic, OpenAI en Microsoft gaan een gemeenschappelijk signaal in robots.txt respecteren. Daarmee zegt u in één keer of uw content mag dienen voor AI-training. In dit artikel leest u wat er is veranderd, wat robots.txt doet, en hoe u een bewuste keuze maakt zonder uw vindbaarheid uit het oog te verliezen.
Wat er is veranderd
Voorheen moest een websitebeheerder per AI-bot aparte regels bijhouden. Elke aanbieder had eigen botnamen. Sommige bedrijven splitsen training, zoeken en bezoeken op verzoek van een gebruiker over meerdere bots. Dat maakte het lastig om overzicht te houden.
Nu werken Google, Anthropic, OpenAI en Microsoft aan één gedeeld signaal. Eén voorkeur in robots.txt kan dan gelden voor alle bedrijven die meedoen. Het is een vrijwillig initiatief, gebaseerd op werk van de AI Preferences-werkgroep van de Internet Engineering Task Force. OpenAI meldde op 30 oktober 2026 dat het dit signaal zal honoreren. De definitieve standaard is nog in ontwikkeling.
Wat robots.txt is
Robots.txt is een klein tekstbestand in de hoofdmap van uw website. Zoekmachines en bots lezen het om te zien welke delen van de site ze mogen bekijken. U of uw webbouwer plaatst het meestal op een adres als uwdomein.nl/robots.txt.
Het bestand vervangt geen wachtwoord of firewall. Het is een afspraak: netjes werkende bots houden zich eraan. Voor MKB is het vooral een schakelaar: u geeft voorkeuren door zonder de hele site af te sluiten.
Training weigeren of niet
AI-training betekent dat teksten van uw site kunnen worden gebruikt om een basismodel te verbeteren. Dat is iets anders dan zichtbaar blijven in AI-zoekantwoorden. OpenAI houdt bijvoorbeeld aparte bots: GPTBot voor training, OAI-SearchBot voor zoeken in ChatGPT. U kunt training beperken en zoeken nog toestaan, of omgekeerd.
Microsoft waarschuwt dat strenge blokkades de zichtbaarheid van uw merk in AI-toepassingen kunnen verminderen. Uw plek in Bing-zoekresultaten hangt volgens Microsoft niet van deze training-instellingen af. De afweging is dus: wilt u uw teksten beschermen tegen training, of wilt u vooral gevonden worden wanneer klanten aan een AI-assistent vragen wat u aanbiedt? Beide kunnen tegelijk, als u de juiste bots open laat.
Zo past u het aan
Het gedeelde signaal komt in robots.txt. Volgens berichtgeving over het initiatief weigeren deze regels AI-training op de hele site:
User-Agent: __usage_ai-training
Disallow: /
Wilt u alleen een deel afschermen, dan zet u een pad achter Disallow, bijvoorbeeld /archief/. Staat er geen regel, dan gaat Microsoft alvast uit van toestemming. Microsoft leest de voorkeur ook per pagina via een metatag of HTTP-header; die instelling krijgt voorrang op robots.txt.
In de praktijk: open in WordPress of Shopify de plek waar robots.txt staat, of vraag uw webbouwer om het bestand te tonen. Zeg duidelijk of u training wilt weigeren, toestaan, of alleen voor bepaalde mappen wilt regelen. Laat bestaande regels voor zoekbots staan tot u weet wat u wilt. OpenAI blijft de aparte crawlercontroles respecteren naast het nieuwe signaal.
Wat nog niet klaar is
De aanbieders voeren het signaal gefaseerd in. OpenAI wil het in de komende maanden implementeren en deelt later details. Microsoft past de nieuwe voorkeuren toe vanaf 1 februari 2027, wanneer het een site opnieuw crawlt. Na 1 maart 2027 leest Microsoft de oudere tags NoArchive en NoCache niet langer als voorkeur voor training of grounding.
Meta steunt het idee volgens berichtgeving, maar communiceerde nog geen implementatiedatum. Anthropic zou het signaal ook volgen. Dat betekent: u kunt nu al nadenken over uw keuze, maar controleer later of uw voorkeur echt wordt gelezen. Het blijft een vrijwillig signaal, geen wet.
Een eerste stap voor deze week: open robots.txt van uw site, of laat uw webbouwer dat doen. Noteer welke AI-bots er al in staan. Bespreek met één zin wat u wilt: training weigeren, zoeken toestaan, of beide open laten tot u meer weet. Zet geen grote wijziging live zonder die keuze.
Twijfelt u over de juiste regel voor uw WordPress- of Shopify-site? Mail naar info@aipuls.nl. We denken graag mee over een instelling die past bij uw bedrijf, zonder beloftes over wat elke AI-aanbieder morgen al ondersteunt.
Bronnen
Elke bron opent in een nieuw tabblad.
