Gratis Robots.txt Tester & Checker
Test en valideer elk robots.txt-bestand in real-time. Controleer of Googlebot, Bingbot en AI-bots zoals GPTBot of Claude uw URL’s mogen crawlen, spoor syntaxfouten op en bewerk regels direct in uw browser.
Test en valideer uw robots.txt
Haal de live robots.txt op van uw website of plak aangepaste regels om de crawltoegang vooraf te testen.
Wereldwijd vertrouwd
Gekozen door duizenden SEO-professionals
Van solo-consultants tot wereldwijde bureaus, teams kiezen TrueRanker om SEO en AI-zichtbaarheid samen te brengen.
Robots.txt testen en valideren in drie stappen
Haal het live-bestand op van een domein of plak uw conceptrichtlijnen om crawlregels vooraf te testen.
Voer uw domein in of plak regels
Vul uw website-URL in om de live robots.txt op te halen, of schakel over naar de plakmodus om conceptregels te valideren vóór de livegang.
Test specifieke URL-paden en User-Agents
Kies een crawler zoals Googlebot, Bingbot, GPTBot of ClaudeBot, voer een pad in en zie meteen of de toegang Toegestaan of Geblokkeerd is volgens RFC 9309.
Controleer syntaxfouten en pas live aan
Bekijk syntaxproblemen, verouderde regels en XML-sitemaps. Bewerk het bestand in de ingebouwde editor en download het gecorrigeerde bestand.
Wat de tester controleert in uw robots.txt
Zes essentiële controles uitgevoerd volgens moderne zoekmachinestandaarden en de RFC 9309-specificatie.
RFC 9309 syntaxvalidatie
Detecteert ontbrekende dubbele punten, regels zonder voorafgaande User-agent, onbekende richtlijnen en ongeldige regelopmaak.
Prioriteit op basis van langste patroon
Hanteert RFC 9309 Sectie 2.2.2: het langst overeenkomende patroon wint; bij gelijke lengte heeft Allow voorrang op Disallow.
Jokertekens en pad-eindankers
Toetst * (willekeurige tekenreeks) en $ (einde van het URL-pad) nauwkeurig aan query-parameters en paden.
Zoekmachines vs. AI-bot matrix
Auditeert gelijktijdig de toegang voor klassieke zoekmachines (Googlebot, Bingbot) en generatieve AI-scrapers (GPTBot, ClaudeBot, PerplexityBot).
XML-sitemap declaraties
Detecteert en valideert alle Sitemap: regels zodat zoekmachines uw indexeerbare URL-structuur eenvoudig ontdekken.
Waarschuwingen voor algehele blokkades & bestandsgrootte
Waarschuwt als Disallow: / per ongeluk uw hele website blokkeert of als het bestand de Google-limiet van 512 KiB overschrijdt.
robots.txt regelt het crawlen, niet de indexering
Een veelvoorkomend misverstand in technische SEO is de aanname dat een Disallow in robots.txt een pagina uit de Google-index verwijdert. Dat is niet zo: het weerhoudt zoekmachines er enkel van om de inhoud van de pagina te downloaden.
Als een geblokkeerde pagina interne of externe links heeft, kan Google de URL, titel en ankertekst nog steeds indexeren zonder de body te crawlen. Om indexering echt te voorkomen, moet de pagina bereikbaar zijn zodat Googlebot een meta robots noindex-tag of een X-Robots-Tag HTTP-header kan lezen.
Sinds september 2019 ondersteunt Google de noindex-richtlijn in robots.txt niet meer. Deze tester markeert verouderde regels zodat uw configuratie voldoet aan de actuele richtlijnen.
- robots.txt beschermt crawlbudget en servercapaciteit
- Een URL blokkeren garandeert geen uitsluiting uit zoekresultaten
- Gebruik meta robots noindex op crawlare pagina’s voor indexuitsluiting
- Sitemap-verwijzingen helpen zoekmachines om canonieke URL’s te vinden
Veelvoorkomende robots.txt-fouten
- Disallow gebruiken om pagina’s te de-indexeren
- noindex-richtlijnen in robots.txt plaatsen (genegeerd door Google)
- Per ongeluk CSS-, JS- of afbeeldingsbestanden blokkeren
- Googlebot blokkeren terwijl u enkel AI-scrapers wilde weren
Verder dan robots.txt: dagelijkse rank tracking en technische audits
Een correcte robots.txt zorgt ervoor dat crawlers toegang hebben tot uw pagina’s. Maar om te weten hoe die pagina’s presteren in Google en AI-antwoordmachines, is continue monitoring vereist.
TrueRanker volgt dagelijks uw zoekwoordposities op desktop en mobiel, controleert technische on-page fouten, monitort backlinks en meet uw merkzichtbaarheid in ChatGPT, Claude en Gemini.
- Dagelijkse rank tracking met geolocatie op stads- en postcodeniveau
- Geautomatiseerde site-audits voor verbroken links en crawlfouten
- AI-zichtbaarheidsmeting voor merkvermeldingen en broncitaten in LLM’s
- Directe meldingen bij rankingverlies of geblokkeerde landingspagina’s
Wat TrueRanker monitort
- Dagelijkse Google-posities met herkenning van SERP-functies
- Merkvermeldingen en citaten in ChatGPT, Claude en Gemini
- Nieuwe en verloren backlinks en verwijzende domeinen
- Technische SEO-fouten op al uw pagina’s
Wat SEO-professionals en bureaus over TrueRanker vertellen
“Met TrueRanker beheer ik de SEO van mijn projecten. Het is een onmisbare tool om elke dag het effect van onze On-Page-wijzigingen en linkbuildingstrategieën te volgen. ✌🏼”
“Ik weet niet hoe ik zonder TrueRanker leefde. Het is mijn dagelijkse SEO-ranktracker geworden voor alle projecten en Chrome-extensies, iets wat geen andere tool kan. Ik raad het van harte aan!”
“TrueRanker is een toptool die ik met klanten en in mijn eigen projecten gebruik, omdat je niet verbetert wat je niet meet.”
“De beste tool voor tracking, heel vriendelijke support en open voor wijzigingen en verbeteringen. Hier kun je resultaten boeken… en wat ik zei is echt waar.”
“Ik gebruik TrueRanker sinds 2022 voor keywordtracking, en vandaag is het een van mijn belangrijkste SEO-tools. Het volgt nauwkeurig rankings, concurrenten, SEO-audits en AI-zichtbaarheid, en vervangt duurdere alternatieven. Bovendien is de support uitstekend. Aanrader!”
“We vergelijken regelmatig keywordtrackingtools en al meer dan drie jaar is TrueRanker de eerste keuze van ons SEO-bureau. De intuïtieve interface, schaalbare plannen en reactieve support geven ons alles wat we nodig hebben om klantposities precies te volgen.”
“Ik gebruik TrueRanker sinds augustus op mijn eigen blog. Wat ik het meest waardeer is dat het me elke dag vertelt wat er is gebeurd met wat ik al heb gepubliceerd, en de GEO-score van de audits liet me zien dat geen enkele AI-samenvatting van Google me citeerde. In mijn eigen taal, met support van dichtbij en een proef zonder kaart om het te controleren voordat ik betaal.”
Veelgestelde vragen over het testen van robots.txt
Alles over richtlijnen, het crawlgedrag van Googlebot, AI-bots en het oplossen van crawlproblemen.
Wat is een robots.txt-bestand en waar dient het voor?
Een robots.txt-bestand is een platte-tekstbestand in de hoofdmap van uw domein (bijv. uwwebsite.nl/robots.txt) volgens het Robots Exclusion Protocol (RFC 9309). Het instrueert crawlers welke paden ze wel of niet mogen opvragen, ter bescherming van servercapaciteit.
Hoe test ik of een URL geblokkeerd wordt door robots.txt?
Voer uw domein in, selecteer de crawler (zoals Googlebot of Bingbot) en vul het gewenste pad in (bijv. /blog/artikel of /admin/). De tool controleert het pad volgens RFC 9309 en toont direct of de toegang Toegestaan of Geblokkeerd is, inclusief de exacte regel.
Hoe dien ik een bijgewerkte robots.txt in bij Google?
Google ververst en crawlt uw robots.txt meerdere keren per dag automatisch. Voor dringende wijzigingen gaat u in Google Search Console naar Instellingen > robots.txt om een directe hercontrole aan te vragen.
Wat gebeurt er als een Allow- en een Disallow-regel van toepassing zijn op dezelfde URL?
Volgens RFC 9309 wint de richtlijn met het langste patroon. Bij gelijke lengte heeft Allow altijd voorrang op Disallow.
Hoe blokkeer ik AI-scrapers zonder Google te hinderen?
U kunt aparte User-agent-blokken instellen voor AI-crawlers, zoals "User-agent: GPTBot", "User-agent: ClaudeBot" of "User-agent: CCBot" met "Disallow: /". Googlebot blijft uw site normaal bezoeken via zijn eigen blok of het algemene User-agent: *-blok.
Kan ik "Noindex" in robots.txt gebruiken om pagina’s uit Google te verwijderen?
Nee. Google ondersteunt noindex in robots.txt sinds september 2019 niet meer. Gebruik een meta robots noindex-tag of een X-Robots-Tag HTTP-header op pagina’s die door zoekmachines gecrawld mogen worden.
Houdt Googlebot rekening met de Crawl-delay richtlijn?
Nee. Googlebot negeert Crawl-delay. Regel de crawlfrequentie via Search Console of gebruik server-rate-limiting (HTTP-status 429). Bingbot houdt wel rekening met Crawl-delay in gehele seconden.
Waar moet het robots.txt-bestand geplaatst worden?
Het moet exact in de hoofdmap van uw domein staan en bereikbaar zijn via HTTP/HTTPS op /robots.txt (bijv. https://voorbeeld.nl/robots.txt). Submappen worden niet herkend.
Is het robots.txt-bestand hoofdlettergevoelig?
Namen van richtlijnen zijn niet hoofdlettergevoelig. URL-paden zijn dat echter wel: "Disallow: /Admin" blokkeert /Admin/ maar blokkeert NIET /admin/.
Klaar voor volledig inzicht in uw rankings en websitegezondheid?
Volg dagelijks zoekwoordposities, monitor backlinks en spoor technische SEO-fouten op met TrueRanker. Start 14 dagen gratis.