Kostenloser Robots.txt-Tester & Checker
Testen und validieren Sie jede robots.txt-Datei in Echtzeit. Prüfen Sie, ob Googlebot, Bingbot und KI-Bots wie GPTBot oder Claude Ihre URLs crawlen dürfen, beheben Sie Syntaxfehler und bearbeiten Sie Direktiven direkt im Browser.
Robots.txt testen und validieren
Laden Sie die Live-robots.txt Ihrer Website oder fügen Sie Direktiven ein, um Crawling-Zugriffe vor dem Rollout zu prüfen.
Weltweit im Einsatz
Die erste Wahl für Tausende von SEO-Profis
Von Solo-Consultants bis zu globalen Agenturen. Teams wählen TrueRanker, um SEO- und KI-Sichtbarkeit zusammenzuführen.
Robots.txt in drei Schritten testen und validieren
Laden Sie die Live-Datei einer beliebigen Domain oder fügen Sie Ihren Entwurf ein, um Crawling-Regeln vor dem Rollout zu prüfen.
Domain eingeben oder Direktiven einfügen
Geben Sie Ihre Website-URL ein, um die Live-robots.txt abzurufen, oder wechseln Sie in den Einfügemodus, um neue Direktiven vor dem Produktivgang zu testen.
Bestimmte URL-Pfade und User-Agents prüfen
Wählen Sie einen Crawler wie Googlebot, Bingbot, GPTBot oder ClaudeBot, geben Sie einen Pfad ein und prüfen Sie sofort das Ergebnis nach RFC 9309.
Syntaxprobleme prüfen und live anpassen
Prüfen Sie Syntaxfehler, veraltete Direktiven und XML-Sitemaps. Passen Sie die Datei im Online-Editor an, testen Sie erneut und laden Sie die bereinigte Datei herunter.
Was der Tester in Ihrer robots.txt prüft
Sechs wesentliche Prüfungen auf Basis moderner Suchmaschinen-Standards und der RFC 9309-Spezifikation.
RFC 9309 Syntax-Validierung
Erkennt fehlende Doppelpunkte, verwaiste Regeln vor einem User-agent, unbekannte Direktiven und fehlerhafte Zeilenformate.
Regel-Priorität nach längstem Pfad
Setzt RFC 9309 Abschnitt 2.2.2 um: Das längste übereinstimmende Muster gewinnt; bei gleicher Länge hat Allow Vorrang vor Disallow.
Wildcards und Pfad-Endanker
Prüft * (beliebige Zeichenfolge) und $ (Ende des URL-Pfads) präzise gegenüber URL-Parametern und Abfrage-Strings.
Suchmaschinen vs. KI-Bot-Matrix
Prüft gleichzeitig Zugriffsregeln für Suchmaschinen (Googlebot, Bingbot) und Scraper generativer KIs (GPTBot, ClaudeBot, PerplexityBot).
XML-Sitemap-Deklarationen
Erkennt und validiert alle deklarierten Sitemap-URLs, damit Suchmaschinen Ihre kanonische Indexierungsstruktur auffinden.
Warnungen vor globaler Blockierung & Dateigröße
Warnt, wenn ein Disallow: / versehentlich Ihre gesamte Website blockiert oder die Datei das Google-Limit von 512 KiB überschreitet.
robots.txt steuert das Crawling, nicht die Indexierung
Ein häufiger Irrtum im technischen SEO besteht darin zu glauben, dass ein Disallow in der robots.txt eine Seite aus dem Google-Index entfernt. Das tut es nicht. Die Regel untersagt lediglich das Herunterladen des Seiteninhalts durch Webcrawler.
Wenn eine blockierte Seite interne oder externe Verlinkungen besitzt, kann Google die URL, den Titel und den Ankertext weiterhin indexieren, ohne den Inhalt zu crawlen. Um eine Indexierung verlässlich zu verhindern, muss die Seite erreichbar sein, damit Googlebot ein Meta-Robots-Tag (noindex) oder einen X-Robots-Tag-Header auslesen kann.
Seit September 2019 unterstützt Google die noindex-Direktive in der robots.txt offiziell nicht mehr. Dieser Tester markiert veraltete noindex- und Crawl-delay-Zeilen, damit Ihre Konfiguration aktuellen Standards entspricht.
- robots.txt schont Crawling-Budget und Server-Bandbreite
- Das Sperren einer URL verhindert die Indexierung in Suchergebnissen nicht zwingend
- Nutzen Sie Meta-Robots noindex auf crawlaren Seiten für den Indexausschluss
- Sitemap-Angaben helfen Suchmaschinen beim sauberen Auffinden von URLs
Häufige robots.txt-Fehler
- Disallow zur Deindexierung von Seiten nutzen
- noindex-Direktiven in robots.txt verwenden (von Google ignoriert)
- Versehentliches Sperren von CSS-, JS- oder Bildressourcen
- Googlebot blockieren, obwohl nur KI-Scraper ausgesperrt werden sollten
Mehr als robots.txt: Tägliches Rank Tracking und technisches SEO
Eine fehlerfreie robots.txt stellt sicher, dass Crawler Ihre Seiten erfassen können. Um jedoch zu erfahren, wie diese Seiten in Google und KI-Antwortmaschinen abschneiden, ist kontinuierliches Monitoring erforderlich.
TrueRanker überwacht täglich Ihre Keyword-Rankings auf Desktop und Mobilgeräten, prüft technische On-Page-Fehler, überwacht Backlinks und misst Ihre Markensichtbarkeit in KI-Modellen wie ChatGPT, Claude und Gemini.
- Tägliches Rank Tracking mit Geolokalisierung auf Stadt- und PLZ-Ebene
- Automatisierte Website-Audits für defekte Links, Duplicate Content und Crawl-Fehler
- KI-Sichtbarkeits-Tracking für Markennennungen und Quellenzitate in LLMs
- Sofortige Benachrichtigungen bei Ranking-Verlusten oder kritischen URL-Ausfällen
Was TrueRanker überwacht
- Tägliche Google-Rankings mit SERP-Feature-Erkennung
- Markennennungen und Zitate in ChatGPT, Claude und Gemini
- Gewonnene und verlorene Backlinks sowie verweisende Domains
- Technische On-Page-SEO-Fehler auf allen Ihren URLs
Was SEO-Profis und Agenturen über TrueRanker sagen
„Mit TrueRanker habe ich die SEO meiner Projekte im Griff. Es ist ein unverzichtbares Tool, um täglich den Effekt unserer On-Page-Änderungen und Linkbuilding-Strategien zu überwachen. ✌🏼“
„Ich weiß nicht, wie ich ohne TrueRanker ausgekommen bin. Es ist mein täglicher SEO-Rank-Tracker für alle Projekte und Chrome-Erweiterungen geworden – das kann kein anderes Tool. Ich kann es nur empfehlen!“
„TrueRanker ist ein Top-Tool, das ich mit Kunden und eigenen Projekten nutze, weil man nicht verbessert, was man nicht misst.“
„Das beste Tool zum Tracken, sehr freundlicher Support und offen für Änderungen und Verbesserungen. Hier kannst du etwas bewirken … und was ich gesagt habe, stimmt wirklich.“
„Ich nutze TrueRanker seit 2022 fürs Keyword-Tracking, und heute gehört es zu meinen wichtigsten SEO-Tools. Es erfasst Rankings, Wettbewerber, SEO-Audits und KI-Sichtbarkeit zuverlässig und ersetzt teurere Alternativen. Der Support ist außerdem ausgezeichnet. Sehr empfehlenswert!“
„Wir vergleichen Keyword-Tracking-Tools regelmäßig, und seit über drei Jahren ist TrueRanker die erste Wahl unserer SEO-Agentur. Die intuitive Oberfläche, skalierbare Tarife und der schnelle Support geben uns alles, was wir brauchen, um Kunden-Rankings genau zu überwachen.“
„Ich nutze TrueRanker seit August auf meinem eigenen Blog. Was ich am meisten schätze, ist, dass es mir jeden Tag sagt, was mit dem passiert ist, das ich schon veröffentlicht habe, und der GEO-Score der Audits hat mir gezeigt, dass mich keine KI-Zusammenfassung von Google zitiert hat. In meiner eigenen Sprache, mit Support in der Nähe und einem Test ohne Karte, um es vor dem Bezahlen zu prüfen.“
Häufig gestellte Fragen zum Testen von robots.txt-Dateien
Alles Wissenswerte über Direktiven, Googlebot-Crawling, KI-Crawler und die Behebung von Crawling-Problemen.
Was ist eine robots.txt-Datei und wozu dient sie?
Eine robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Domain (z. B. example.com/robots.txt) gemäß dem Robots Exclusion Protocol (RFC 9309). Sie teilt automatisierten Webcrawlern mit, welche Pfade angefordert werden dürfen und welche nicht, um Bandbreite und Crawl-Budget zu steuern.
Wie teste ich, ob eine URL durch robots.txt blockiert wird?
Geben Sie Ihre Domain ein, wählen Sie den gewünschten Crawler (z. B. Googlebot oder Bingbot) und tragen Sie den Pfad ein (z. B. /blog/artikel oder /admin/). Das Tool gleicht den Pfad mit den Regeln nach RFC 9309 ab und zeigt an, ob der Zugriff erlaubt oder blockiert ist, inklusive der maßgeblichen Zeile.
Wie übermittle ich eine aktualisierte robots.txt an Google?
Google aktualisiert und crawlt Ihre robots.txt automatisch mehrmals täglich. Für dringende Aktualisierungen können Sie in der Google Search Console unter Einstellungen > robots.txt eine sofortige Neuprüfung anfordern.
Was passiert, wenn eine Allow- und eine Disallow-Regel auf dieselbe URL zutreffen?
Nach RFC 9309 gewinnt die Regel mit dem längeren Zeichenmuster. Bei "Disallow: /shop" (9 Zeichen) und "Allow: /shop/artikel" (13 Zeichen) ist /shop/artikel erlaubt. Bei absolut identischer Zeichenlänge hat die Allow-Direktive Vorrang vor Disallow.
Wie blockiere ich KI-Scraper, ohne das Google-Crawling zu beeinträchtigen?
Definieren Sie eigene User-agent-Blöcke für KI-Crawler, z. B. mit "User-agent: GPTBot", "User-agent: ClaudeBot" oder "User-agent: CCBot" und setzen Sie dort "Disallow: /". Googlebot greift weiterhin ungestört über seinen eigenen Block oder den allgemeinen User-agent: *-Block zu.
Kann ich "Noindex" in der robots.txt verwenden, um Seiten aus Google zu entfernen?
Nein. Google unterstützt die noindex-Direktive in der robots.txt seit September 2019 nicht mehr. Verwenden Sie stattdessen <meta name="robots" content="noindex"> oder X-Robots-Tag auf Seiten, die für Crawler zugänglich sind.
Beachtet Googlebot die Crawl-delay-Direktive?
Nein. Googlebot ignoriert Crawl-delay. Nutzen Sie die Einstellungen in der Search Console oder serverseitige Ratenbegrenzungen (HTTP 429 Too Many Requests). Bingbot hingegen beachtet Crawl-delay in ganzzahligen Sekunden.
Wo muss die robots.txt-Datei abgelegt werden?
Die Datei muss direkt im Hauptstammverzeichnis Ihrer Domain liegen und per HTTP/HTTPS unter /robots.txt erreichbar sein (z. B. https://example.com/robots.txt). Unterordner wie example.com/ordner/robots.txt werden nicht beachtet.
Wird bei robots.txt zwischen Groß- und Kleinschreibung unterschieden?
Direktiven-Namen (User-agent, Allow, Disallow) sind nicht case-sensitiv. URL-Pfade hingegen schon: "Disallow: /Admin" blockiert /Admin/dashboard, jedoch NICHT /admin/dashboard auf Standard-Webservern.
Möchten Sie volle Kontrolle über Ihre Rankings und Website-Gesundheit?
Tägliches Rank Tracking, Backlink-Überwachung und technische SEO-Audits mit TrueRanker. Starten Sie Ihre 14-tägige kostenlose Testphase.