173 páginas que el rastreador no alcanzaba se llevaban el 65% de los clics

Cuando rastreas una web y salen menos páginas de las que esperabas, la reacción normal es pensar que el sitio es más pequeño de lo que parecía.

Casi nunca es eso. Significa que el rastreador se quedó sin camino, y el motivo por el que se quedó sin camino suele ser el hallazgo principal de la auditoría.

El cruce, en treinta segundos

Nada más terminar un rastreo, cruzamos dos listas:

• Las URL que el rastreador ha alcanzado siguiendo enlaces.
• Las URL que tienen clics en Search Console.

Y restamos. Lo que aparece en la segunda y no en la primera responde a una pregunta que ninguna de las dos fuentes contesta por separado: qué páginas existen, generan negocio y no se puede llegar a ellas navegando.

Para que el cruce funcione hay que normalizar las direcciones antes de compararlas: quitar el protocolo, el www, los parámetros y la barra final. Si no, la mitad de las coincidencias se pierden por una barra.

Da dos cifras, no una

Esto es lo que convierte el dato en prioridad, y es donde casi todos los informes se quedan cortos.

Cuántas páginas faltan es interesante. Qué porcentaje de tus clics representan es lo que decide si hay que hacer algo esta semana o el trimestre que viene.

Ciento setenta y tres páginas sonaba a problema mediano. El 65% de los clics del sitio lo convertía en el primer punto del informe.

El caso: una línea del robots.txt

En ese sitio, el rastreo se paraba en seco y no había forma de que llegara al contenido antiguo del blog.

La causa: el robots.txt bloqueaba /*page/. El blog paginaba en /blog/page/2/, /blog/page/3/ y así sucesivamente. El rastreador llegaba a la primera página del listado, encontraba el enlace a la segunda, y ahí se acababa el camino.

Todo el archivo del blog quedaba detrás de una puerta cerrada. Google lo tenía indexado porque llegaba por el sitemap, pero Googlebot tiene exactamente la misma limitación para hacer circular la autoridad interna: si no puede recorrer los enlaces, esas páginas están indexadas y aisladas.

El patrón que hay que buscar siempre

En cualquier WordPress, mira el robots.txt buscando estas cuatro líneas:

Disallow: /*page/
Disallow: /*category/
Disallow: /*tag/
Disallow: /*author/

Se ponen «para evitar contenido duplicado» y es un consejo que circula desde hace quince años. Lo que hacen en realidad es cerrar todas las rutas de archivo hacia el contenido antiguo: la paginación, las categorías, las etiquetas y los archivos de autor son las vías por las que se llega a lo que no está en la portada.

Bloquearlas no evita duplicados —para eso están las canónicas y el noindex—; lo que hace es dejar la mitad de tu web colgando de un sitemap.

Cierra el hallazgo antes de convertirlo en tarea

Un aviso importante, porque este hallazgo es tan vistoso que da ganas de escribirlo directamente.

Comprueba que no existe otra vía de enlazado. Con el listado completo de enlaces internos del rastreo, mira si esas páginas reciben enlaces desde algún otro sitio: un widget de entradas relacionadas, un pie de página, un mapa del sitio HTML. Si los reciben, el problema es más pequeño de lo que parece y la tarea cambia.

Y conserva el rastreo incompleto. Es tentador volver a lanzarlo ignorando el robots.txt para «tener el sitio entero», pero entonces pierdes la prueba: la diferencia entre lo alcanzable por enlaces y lo que existe de verdad es la medida exacta del problema, y se explica sola en una reunión.

Qué hacer con las que aparecen

No todas las páginas huérfanas son un problema, y no todas se arreglan igual:

• Tienen clics y no se alcanzan → prioridad máxima. Hay que abrirles camino, ya sea desbloqueando la ruta o enlazándolas desde donde corresponda.
• No tienen clics y no se alcanzan → puede que sean contenido antiguo que ya no vale. Es una decisión de contenidos, no técnica.
• Se alcanzan pero no tienen clics → otro problema distinto, y es de contenido o de intención, no de arquitectura.

Y si aparecen muchas, el problema de fondo no es esa lista sino el reparto: merece la pena ver a dónde va la fuerza interna del sitio antes de enlazar una por una.

La honestidad del dato

Este cruce mide accesibilidad por enlaces, no indexación. Google puede tener indexadas todas esas páginas perfectamente gracias al sitemap, y de hecho las tenía. Lo que el cruce demuestra es que la autoridad interna no llega hasta ellas, que es un problema real pero distinto de «Google no las conoce». Decir lo segundo cuando lo que mediste es lo primero es exagerar.

Y un rastreo depende de con qué configuración lo lanzaste. Si tu herramienta respeta el robots.txt —debe hacerlo por defecto— el resultado incluye ese bloqueo, que es justo lo que queremos aquí. Si alguien lo desactivó, el cruce no detecta nada y todo parece correcto.

Y conviene no confundir esto con el veredicto de calidad: una página alcanzable puede seguir rastreada y sin indexar por motivos que no tienen nada que ver con el enlazado.

Preguntas frecuentes

¿Por qué Google no rastrea todas las páginas de mi web?

Las causas más frecuentes son que el robots.txt bloquee las rutas por las que se llega a ellas —paginación, categorías, etiquetas—, que esas páginas no reciban ningún enlace interno, o que el camino hasta ellas pase por redirecciones. Un rastreo que devuelve menos páginas de las esperadas es una señal de que el camino se corta en algún punto.

¿Qué es una página huérfana y cómo la encuentro?

Es una página que existe y no recibe ningún enlace interno, así que solo se llega a ella por el sitemap o desde fuera. Se encuentran cruzando las URL que ha alcanzado un rastreo con las que tienen clics en Search Console: lo que está en la segunda lista y no en la primera.

¿Es malo bloquear las categorías y etiquetas en el robots.txt?

Casi siempre sí. Es un consejo antiguo pensado para evitar contenido duplicado, y para eso existen las etiquetas canónicas y el noindex. Lo que consigue el bloqueo es cerrar las rutas por las que tanto Google como tus usuarios llegan al contenido que no está en la portada.