Probador y Validador de Robots.txt Gratis
Prueba y valida cualquier archivo robots.txt en tiempo real. Comprueba si Googlebot, Bingbot y bots de IA como GPTBot o Claude pueden rastrear tus URLs, detecta errores de sintaxis y edita en vivo en tu navegador.
Prueba y valida tu robots.txt
Obtén el robots.txt en vivo de tu web o pega directivas personalizadas para comprobar el acceso de rastreo antes de publicar.
Con confianza en todo el mundo
La eligen miles de profesionales SEO
Desde consultores en solitario hasta agencias globales, los equipos eligen TrueRanker para unificar su visibilidad en SEO y en la búsqueda con IA.
Cómo probar y validar tu robots.txt en tres pasos
Obtén cualquier robots.txt en vivo desde un dominio o pega tu borrador para validar reglas de rastreo antes de publicarlas.
Introduce tu dominio o pega directivas
Escribe la URL de tu sitio web para obtener el robots.txt en vivo, o cambia al modo pegar para probar directivas de borrador antes de subirlas a producción.
Prueba rutas de URL y User-Agents específicos
Elige un bot como Googlebot, Bingbot, GPTBot o ClaudeBot, introduce una ruta o URL y comprueba al instante si está permitida o bloqueada según RFC 9309.
Revisa errores de sintaxis y edita en vivo
Inspecciona errores, directivas obsoletas y sitemaps declarados. Edita el archivo en el editor online, repite la prueba al instante y descarga tu robots.txt corregido.
Qué evalúa el probador en tu robots.txt
Seis comprobaciones esenciales ejecutadas al instante contra los estándares modernos de motores de búsqueda y la especificación RFC 9309.
Validación de sintaxis RFC 9309
Detecta dos puntos faltantes, reglas huérfanas declaradas antes de un User-agent, directivas no reconocidas y formatos no válidos línea por línea.
Precedencia por regla más larga
Aplica RFC 9309 Sección 2.2.2: el patrón coincidente más largo gana, y si la longitud es idéntica, la directiva Allow prevalece sobre Disallow.
Comodines y anclajes de fin de URL
Evalúa con precisión * (cualquier secuencia de caracteres) y $ (anclaje de fin de ruta) frente a parámetros y cadenas de consulta.
Matriz de buscadores frente a bots de IA
Audita simultáneamente el acceso para motores de búsqueda tradicionales (Googlebot, Bingbot) y scrapers de IA generativa (GPTBot, ClaudeBot, PerplexityBot).
Declaraciones de XML Sitemaps
Detecta y valida todas las directivas Sitemap: para asegurar que los motores de búsqueda encuentren tu mapa de URLs canónicas.
Alertas de bloqueo global y tamaño
Advierte si una regla Disallow: / bloquea accidentalmente todo tu dominio o si el archivo supera el límite de 512 KiB de Google.
robots.txt controla el rastreo, no la indexación
Un error común en SEO técnico es asumir que un Disallow en robots.txt elimina una página del índice de Google. No es así. La regla simplemente prohíbe a los rastreadores descargar el contenido de la página.
Si una página bloqueada tiene enlaces internos o externos, Google puede indexar su URL, título y texto de anclaje sin rastrear su cuerpo. Para evitar la indexación por completo, la página debe ser accesible para que Googlebot lea una etiqueta meta robots noindex o una cabecera HTTP X-Robots-Tag.
Desde septiembre de 2019, Google no admite directivas noindex dentro de robots.txt. Este probador señala directivas obsoletas como noindex y crawl-delay para que tus reglas cumplan los estándares modernos.
- robots.txt gestiona el presupuesto de rastreo y el ancho de banda
- Bloquear una URL no garantiza su exclusión de los resultados de búsqueda
- Usa meta robots noindex en páginas rastreables para evitar la indexación
- Las declaraciones de sitemap ayudan a los buscadores a descubrir URLs limpiamente
Errores frecuentes en robots.txt
- Usar Disallow para intentar desindexar páginas
- Incluir directivas noindex en robots.txt (ignoradas por Google)
- Bloquear accidentalmente archivos CSS, JS o imágenes necesarios para el renderizado
- Bloquear a Googlebot cuando solo se deseaba bloquear scrapers de IA
Más allá de robots.txt: rank tracking y auditoría técnica continua
Validar tu archivo robots.txt asegura que los rastreadores puedan acceder a tus páginas. Pero saber cómo rinden esas páginas en Google y motores de respuesta de IA exige una monitorización constante.
TrueRanker monitoriza diariamente tus posiciones de palabras clave en Google escritorio y móvil, audita problemas técnicos on-page, vigila tus backlinks y mide la visibilidad de tu marca en ChatGPT, Claude y Gemini.
- Rank tracking diario geolocalizado a nivel de ciudad y código postal
- Auditoría web automática para enlaces rotos, etiquetas duplicadas y errores de rastreo
- Seguimiento de visibilidad en IA para menciones y citas de fuentes en LLMs
- Alertas inmediatas si caen URLs clave o cambian tus posiciones
Qué monitoriza TrueRanker
- Rankings diarios en Google con detección de funciones SERP
- Menciones y citas de marca en ChatGPT, Claude y Gemini
- Ganancias y pérdidas de backlinks y salud de dominios de referencia
- Errores SEO técnicos on-page en todas tus URLs
Qué opinan los profesionales SEO y agencias que usan TrueRanker
«Con TrueRanker gestiono el SEO de mis proyectos. Es una herramienta esencial para monitorear diariamente el impacto de nuestros cambios On-Page y las estrategias de captación de enlaces. ✌🏼»
«No sé cómo he podido vivir sin TrueRanker. Se ha convertido en mi rastreador de posiciones SEO diario para todos mis proyectos y extensiones de Chrome, algo que ninguna otra herramienta puede hacer. ¡La recomiendo muchísimo!»
«TrueRanker es una herramienta excelente que utilizo con clientes y en mis propios proyectos, porque lo que no se mide, no se mejora.»
«La mejor herramienta de trackeo, con el soporte más amable y abiertos a cambios y mejoras. Puedes sacar algo bueno de aquí… y lo que digo es totalmente cierto.»
«Empecé a usar TrueRanker en 2022 para el seguimiento de palabras clave y hoy es una de mis herramientas SEO principales. Gestiona con precisión posiciones, rastreo de competidores, auditorías SEO y visibilidad en IA, reemplazando a alternativas más caras. Además, su atención al cliente es excelente. ¡Muy recomendada!»
«Hacemos comparativas periódicas de herramientas de tracking y, desde hace más de tres años, TrueRanker es la opción número uno de nuestra agencia SEO. Su interfaz intuitiva, planes escalables y soporte rápido ofrecen todo lo necesario para medir el posicionamiento de los clientes.»
«Llevo desde agosto usando TrueRanker en mi propio blog. Lo que más valoro es que me dice cada día qué ha pasado con lo que ya he publicado, y la nota GEO de las auditorías me enseñó que ningún resumen de IA de Google me estaba citando. En mi propio idioma, con soporte cercano y una prueba sin tarjeta para comprobarlo antes de pagar.»
Preguntas frecuentes sobre la prueba de robots.txt
Todo lo que necesitas saber sobre directivas de robots.txt, rastreo de Googlebot, bots de IA y solución de problemas de rastreo.
¿Qué es un archivo robots.txt y para qué sirve?
Un archivo robots.txt es un archivo de texto plano ubicado en la raíz de tu dominio (por ejemplo, midominio.com/robots.txt) según el Robots Exclusion Protocol (RFC 9309). Indica a los rastreadores web qué URLs pueden o no solicitar de tu sitio, ayudando a optimizar el presupuesto de rastreo y recursos del servidor.
¿Cómo compruebo si una URL está bloqueada por robots.txt?
Introduce tu dominio en el probador, selecciona el bot (como Googlebot o Bingbot) e indica la ruta que deseas comprobar (por ejemplo, /blog/articulo o /admin/). La herramienta evalúa la ruta con las reglas Allow y Disallow aplicables bajo la precedencia RFC 9309 y muestra si la URL está permitida o bloqueada junto con la línea exacta de la regla.
¿Cómo envío un robots.txt actualizado a Google?
Google actualiza y vuelve a rastrear tu robots.txt de forma automática varias veces al día. Si has hecho cambios urgentes y quieres que Googlebot use la nueva versión de inmediato, ve a Google Search Console, accede a Ajustes > robots.txt y solicita un nuevo rastreo con el botón de envío.
¿Qué ocurre si una regla Allow y una Disallow coinciden con la misma URL?
Según la especificación RFC 9309, gana la directiva con el patrón de caracteres más largo. Por ejemplo, con "Disallow: /catalogo" (10 caracteres) y "Allow: /catalogo/articulo" (19 caracteres), la URL /catalogo/articulo está permitida. Si ambas reglas tienen la misma longitud (por ejemplo, "Allow: /pagina" y "Disallow: /pagina"), la directiva Allow tiene prioridad.
¿Cómo bloqueo bots de IA sin afectar al rastreo de Google?
Puedes definir grupos de User-agent específicos para bots de IA sin alterar el grupo de Googlebot. Por ejemplo, añade bloques con "User-agent: GPTBot", "User-agent: ClaudeBot" o "User-agent: CCBot" con "Disallow: /". Googlebot continuará accediendo a tu web bajo su propio User-agent o el grupo general User-agent: *.
¿Puedo usar "Noindex" dentro de robots.txt para desindexar páginas?
No. Google dejó de admitir oficialmente la directiva noindex en robots.txt en septiembre de 2019. Si añades Noindex en robots.txt, Googlebot simplemente la ignorará. Para retirar páginas de los resultados de Google, utiliza una etiqueta <meta name="robots" content="noindex"> o una cabecera X-Robots-Tag en páginas que los buscadores puedan rastrear.
¿Respeta Googlebot la directiva Crawl-delay?
No. Googlebot ignora Crawl-delay. Para regular la frecuencia de rastreo de Googlebot, utiliza los ajustes de Search Console o configura límites de peticiones HTTP en tu servidor (códigos de estado 429 Too Many Requests). Bingbot, por su parte, sí respeta Crawl-delay en segundos enteros.
¿Dónde debe estar alojado el archivo robots.txt?
Debe situarse exactamente en la raíz principal de tu dominio y responder vía HTTP/HTTPS en /robots.txt (por ejemplo, https://ejemplo.com/robots.txt). Las ubicaciones en subdirectorios como ejemplo.com/web/robots.txt no son válidas para los rastreadores web.
¿Distingue entre mayúsculas y minúsculas el robots.txt?
Los nombres de las directivas (User-agent, Allow, Disallow) no distinguen entre mayúsculas y minúsculas. Sin embargo, las rutas de URL sí son sensibles a mayúsculas: "Disallow: /Admin" bloqueará /Admin/panel pero NO coincidirá con /admin/panel en servidores web estándar.
¿Quieres visibilidad total sobre tus rankings y salud SEO?
Monitoriza tus posiciones de keywords a diario, vigila tus enlaces y audita problemas técnicos con TrueRanker. Prueba 14 días gratis.