Existen diferentes métodos para evitar que una página sea indexada por Google u otros buscadores. Desde la configuración del comando disallow en el archivo robots.txt, pasando por el uso de la etiqueta nofollow en los enlaces, hasta el uso de la meta tag de HTML Noindex
Con la meta etiqueta noindex se consigue evitar la indexación de la propia página añadiendo un código HTML a la misma, no siendo necesario estar utilizando otros métodos externos para evitar su indexación.
Tabla de contenidos
¿Qué es la metaetiqueta noindex?
La metaetiqueta noindex es una etiqueta que se introduce en el código HTML de una página para indicarle a Google y otros motores de búsqueda, que no debe indexar la página.
La característica principal de esta metaetiqueta es que no bloquea el acceso a la misma de los motores de búsqueda (como sí ocurre con la etiqueta nofollow o con el comando disallow del robot.txt), pero sí impide que la indexen en sus rankings de sitios web.
El uso de las directrices follow y nofollow potencian el uso de la meta noindex, permitiendo ajustar el bloqueo de indexado y rastreo según las necesidades de cada página.
¿Por qué es importante para el SEO?
La metaetiqueta noindex es una herramienta muy útil para el SEO porque permite controlar algunos de los aspectos relacionados con la indexación de contenido como:
- Evitar indexar páginas de categorías con escaso valor para el usuario.
- No indexar páginas de contenido de baja calidad que no se piensa eliminar o mejorar (thin content).
- Evitar la duplicidad de contenido no indexando la página que menor fuerza tenga en el posicionamiento.
- Evitar la indexación de resultados de búsquedas internas.
- Permite que los Googlebots puedan rastrear todos los enlaces de una página, sin necesidad de que la indexen.
Al realizar una auditoría SEO es habitual encontrar páginas importantes de un sitio web que ni siquiera se encuentran indexadas en Google, la mayoría de las veces por no tener una configuración correcta de la meta etiqueta noindex, o de otras herramientas como el archivo robots.txt.
Existen herramientas que permiten analizar una web para ver si sus URLs cuenta con esta meta tag activada y está bloqueando su indexación, como es el caso de Screaming SEO Frog Spider. Utilizando esta aplicación se puede rastrear una web como si de un bot de un motor de búsqueda se tratase, accediendo posteriormente a mucha información importante.
En la pestaña directivas de la aplicación (directives) se pueden filtrar los resultados para ver qué páginas tienen bloqueada su indexación con la meta noindex y nofollow.
¿Cómo poner una página en noindex?
Veamos cómo se implementa la etiqueta noindex en una página para evitar su indexación por parte de los motores de búsqueda.
1. Poner noindex en HTML
Se trata de una mega etiqueta HTML que debe incluirse en el apartado o cabecera del código. Este código es muy sencillo a diferencia de otras etiquetas y parámetros de HTML.
Se debe incluir en el head del HTML:
<meta name="robots" content="noindex"> Con esta línea se evita que cualquier bot, bien sean los Googlebots o los rastreadores de otros motores de búsqueda, puedan indexar esa página en sus bases de datos de sitios.
Este código puede personalizarse para hacer referencia a un robot concreto. Por ejemplo, si queremos que Google-image no indexe las imágenes de una URL se deberá incluir:
<meta name="googlebot" content="noindex"> Otra característica interesante de esta meta tag es que pueden introducirse varias en la misma página para realizar unas restricciones de indexación personalizadas.
2. Poner noindex en WordPress
Como suele suceder, en WordPress es aún más sencillo trabajar con la noindex meta tag. Con el uso de plugins como Yoast SEO o Rank Math SEO, basta con ir a la página o entrada del blog que se quiera evitar indexar, y marcar la casilla llamada No Index. De esta manera, el plugin añade automáticamente la meta etiqueta noindex al HTML de la página.
Directivas follow y nofollow acompañando a noindex
Esta metaetiqueta permite aún un mayor grado de personalización, utilizándose con los atributos follow y nofollow dependiendo del objetivo que se haya fijado.
noindex, follow
Al utilizar esta combinación se está diciendo a los motores de búsqueda que no deben indexar la página en su base de datos, pero que sí deben rastrear todos los enlaces incluidos en la misma.
Se trata de uno de los usos más habituales dentro del SEO de esta meta tag. La forma de añadirla en HTML es la siguiente:
<meta name="robots" content="noindex,follow"> Un proceso muy sencillo que solo requiere añadir a noindex, el atributo follow separado por una coma.
noindex, nofollow
Esta combinación de noindex y nofollow evita que los motores de búsqueda puedan indexar la web, y que tampoco puedan rastrear los enlaces que contiene. Para implementarla se sigue el mismo proceso sencillo y simple que en caso anterior de combinación de noindex con follow.
<meta name="robots" content="noindex,nofollow"> Errores comunes utilizando la etiqueta noindex
A la hora de utilizar este tipo de metaetiqueta se cometen muchos errores, muchos de ellos marcados por la propia Google Search Console cuando los detecta.
Entre los principales fallos al implementar etiquetas noindex en una página tenemos:
Sitemaps con URLs que contienen la etiqueta noindex
Es habitual que cuando se construye el archivo sitemaps con la lista de URLs del sitio a indexar, no se tenga en cuenta aquellas páginas que tienen la metaetiqueta noindex. Esta situación sin sentido (se envía a través del sitemap una URL que está marcada con una etiqueta para no ser indexada) es detectada por Google Search Console que la marca como error.
La solución a este problema es bastante sencilla y consiste, o bien eliminar la URL del sitemap, o quitar la propia etiqueta noindex de esa página si en realidad sí se quiere indexar.
Olvidarse de la etiqueta noindex
Aunque puede parecer un error algo absurdo, sucede de forma habitual. Por un determinado motivo se utiliza esta meta tag para evitar que un contenido se indexe en Google, pero cuando se resuelve el problema o motivo se olvida que la etiqueta sigue activa evitando la indexación, por lo que la página seguirá sin aparecer en los resultados de búsqueda de Google.
Para resolver este tipo de errores lo mejor es tener siempre una buena organización, anotando aquellas páginas que no se indexan con esta etiqueta (así como las que se incluyen en el robots.txt o utilizan la etiqueta nofollow en los enlaces).
La metaetiqueta noindex es una alternativa muy interesante para controlar qué contenido indexar y cuál dejar fuera de la base de datos de Google y del resto de motores de búsqueda.
Se trata de una alternativa interesante porque es capaz de bloquear la indexación, pero permite a los bots rastrear los enlaces que contiene la página, algo que no es posible con otras alternativas como la etiqueta de los enlaces nofollow, por ejemplo.
Con el uso combinado de noindex metatag, la configuración del archivo robots.txt y el uso de la etiqueta HTML para enlaces nofollow y dofollow, se puede controlar la indexación y rastreo de las distintas URLs que forma un sitio web. Son unas herramientas SEO ideales para optimizar el tiempo que disponen los bots para rastrear un sitio (crawl budget), permitiendo que el contenido más importante pueda ser rastreado, indexado y posicionado de forma correcta.
