El crawl budget es uno de esos conceptos que los SEOs mencionan con frecuencia pero pocos saben gestionar en la práctica. En términos simples, es la cantidad de páginas que Googlebot está dispuesto a rastrear en tu sitio web durante un periodo de tiempo determinado. Si ese número es bajo y tu web tiene miles de URLs, el problema es evidente: hay páginas que Google nunca llegará a ver, y por tanto nunca podrá indexar ni posicionar.
Qué es exactamente el crawl budget
Google lo definió de forma oficial en 2017 en su blog para desarrolladores. El concepto combina dos factores: la tasa de rastreo permitida (crawl rate limit), que es el número máximo de conexiones simultáneas que Googlebot puede hacer sin saturar el servidor, y la demanda de rastreo (crawl demand), que depende de cuánto interés tiene Google en tus URLs según su popularidad y el ritmo de actualización del contenido.
Dicho de otro modo, no es un número fijo que tú puedas controlar directamente. Es el resultado de la negociación entre lo que tu servidor aguanta y lo que Google considera que merece la pena rastrear. Un sitio con buena autoridad, contenido fresco y respuestas de servidor rápidas recibirá más visitas del bot que uno lento con páginas de escaso valor.
Para webs pequeñas, de cien o doscientas páginas, esto apenas importa. Googlebot las recorre todas sin dificultad. El crawl budget se convierte en un problema real a partir de los diez mil URLs, especialmente en ecommerce, portales de noticias, webs de viajes o plataformas con contenido generado por usuarios.
Señales que indican que tienes un problema de rastreo
El primer síntoma es que páginas importantes tardan semanas en indexarse después de publicarse o actualizarse. Si subes un artículo y a los quince días Google Search Console todavía no lo registra como indexado, algo falla en el proceso de rastreo.
Otra señal clara es que Google rastrea muchas URLs de escaso valor mientras ignora las que generan tráfico. Puedes detectarlo en el informe de cobertura de Search Console o, con más detalle, haciendo un análisis de logs del servidor: ahí verás exactamente qué páginas visita Googlebot, con qué frecuencia y en qué orden de prioridad.
También ocurre que el rastreo se concentra en URLs con parámetros de sesión, filtros de categorías o páginas de resultados de búsqueda interna, dejando sin visitar las fichas de producto o los artículos del blog. Eso es un problema de arquitectura que drena el presupuesto de rastreo en páginas sin valor.
Cómo mejorar el crawl budget paso a paso
Elimina o bloquea las URLs que no merecen rastreo
El primer paso es hacer inventario. Usa Screaming Frog, Sitebulb o cualquier crawler para listar todas las URLs que genera tu sitio. Luego clasifícalas: ¿cuáles aportan valor real? ¿Cuáles son duplicados, variantes de parámetros o páginas de paginación sin contenido único?
Para las URLs que no quieres que Google rastree ni indexe, tienes dos herramientas: el archivo robots.txt (para bloquear el rastreo) y la etiqueta noindex (para permitir el rastreo pero impedir la indexación). Son dos acciones distintas con efectos distintos. Bloquear en robots.txt ahorra presupuesto de rastreo pero Google no puede leer la directiva noindex si no puede acceder a la página. Por eso, si ya tienes URLs indexadas que quieres eliminar del índice, primero añade noindex y espera a que Google las descubra, luego puedes bloquear el rastreo.
Hacer una auditoría de contenido periódica ayuda a identificar qué páginas borrar, fusionar o redirigir antes de que el bot pierda tiempo en ellas.
Controla los parámetros de URL
En ecommerce, los filtros de producto son el mayor generador de URLs duplicadas. Un catálogo de ropa puede multiplicar por cien el número de URLs si cada combinación de talla, color y precio genera una dirección propia. Google Search Console tiene una sección de parámetros de URL (en la versión antigua de Search Console aún disponible para algunos usuarios) donde puedes indicar cómo debe tratar cada parámetro.
La solución más limpia hoy es usar la etiqueta canonical para apuntar desde las URLs con parámetros hacia la URL principal de la categoría. Así Google entiende cuál es la versión oficial y deja de gastar rastreo en las variantes.
Mejora la velocidad de respuesta del servidor
Si tu servidor tarda más de 200 milisegundos en responder, Googlebot ralentiza automáticamente el rastreo para no sobrecargarlo. Eso reduce el crawl rate limit y, por tanto, el presupuesto total disponible. Invertir en un hosting más rápido, activar caché a nivel de servidor o usar una CDN tiene un impacto directo en cuántas páginas puede visitar el bot cada día.
No es casualidad que las webs con Core Web Vitals bien optimizados también tiendan a tener mejores tasas de rastreo. La velocidad no solo afecta al usuario; también condiciona el comportamiento del bot.
Cuida la arquitectura de enlaces internos
Googlebot descubre las páginas siguiendo enlaces. Si una URL no tiene ningún enlace interno apuntando a ella, es prácticamente invisible para el rastreador. Antes de preocuparte por el presupuesto de rastreo, comprueba que todas tus páginas importantes están enlazadas desde al menos una URL relevante del sitio.
El mapa web (sitemap XML) también ayuda, pero no sustituye a los enlaces internos. Puedes incluir en el sitemap únicamente las URLs que quieres que Google indexe: fichas de producto activas, artículos publicados, páginas de categoría principales. Excluye las páginas con noindex, las que tienen canonical hacia otra URL y las de paginación.
Trabajar bien el mapa de palabras clave de tu web te ayuda a decidir qué páginas merecen tener enlaces internos fuertes y cuáles puedes dejar con menor peso.
Gestiona las redirecciones con criterio
Cada redirección consume recursos de rastreo. Las cadenas de redirecciones (URL A redirige a URL B que redirige a URL C) son especialmente costosas. Cuando Googlebot sigue tres saltos antes de llegar al destino final, no solo desperdicia tiempo: también puede abandonar la cadena si tarda demasiado.
Audita regularmente las redirecciones de tu sitio. Lo ideal es que todas sean directas, de un solo salto. Si tienes redirecciones antiguas que apuntan a otras redirecciones, actualízalas para que vayan directamente al destino final.
El papel de la autoridad en el crawl budget
Google no rastrea todos los sitios con la misma frecuencia. Un dominio con muchos backlinks de calidad y un historial de contenido actualizado recibirá visitas de Googlebot con más regularidad que uno nuevo sin autoridad. Esto significa que trabajar el reconocimiento de tu marca en la búsqueda tiene un efecto indirecto en el rastreo: más presencia equivale a más interés del bot.
Por eso, en webs nuevas grandes, el problema del crawl budget es especialmente agudo. Tienes miles de páginas pero poca autoridad, así que Googlebot las visita con cuentagotas. En esos casos, publicar menos páginas pero de más calidad acelera el proceso de ganarse la confianza del rastreador.
Herramientas para monitorizar el rastreo
Google Search Console es el punto de partida. El informe de estadísticas de rastreo (dentro de Configuración) muestra cuántas páginas rastrea Google cada día en tu dominio, el tiempo medio de respuesta y los tipos de recursos que consume (HTML, CSS, JavaScript, imágenes). Si ves una caída brusca en el número de páginas rastreadas, es una señal de alerta.
Para ir más lejos, los logs del servidor son la fuente de datos más fiable. Herramientas como Screaming Frog Log Analyzer, Splunk o incluso soluciones más accesibles como GoAccess te permiten filtrar las peticiones de Googlebot y analizar qué URLs visita, con qué frecuencia y qué códigos de respuesta recibe. Ver un bot gastando el 30% del presupuesto en páginas con código 404 o en URLs de carrito de compra es el tipo de diagnóstico que solo los logs pueden dar.
Si además gestionas campañas de pago, vale la pena conectar la visión SEO con la de paid search. Entender cómo interpretar los datos comparativos de tu sector puede ayudarte a priorizar qué páginas merecen esfuerzo de optimización tanto orgánica como de rastreo.
Cómo saber cuánto crawl budget tienes realmente
No hay un número exacto que Google publique. Pero puedes estimarlo observando el informe de estadísticas de rastreo durante varias semanas. Si Google rastrea una media de 500 páginas al día y tu sitio tiene 50.000 URLs, necesitaría cien días para recorrerlo completo, suponiendo que no vuelva a visitar las ya rastreadas. En la práctica, el bot prioriza las páginas con más autoridad y las actualiza más a menudo, dejando las menos relevantes para visitas menos frecuentes.
El objetivo no es que Google rastree todas tus páginas, sino que rastree las correctas con la frecuencia adecuada. Una web de noticias necesita que sus artículos del día se rastreen en horas. Un ecommerce necesita que sus fichas de producto activas se actualicen en días. Las páginas de política de privacidad o los términos y condiciones pueden esperar meses sin problema.
Qué hacer si acabas de lanzar un sitio grande
La estrategia más eficiente en webs nuevas con mucho volumen de URLs es empezar con un subconjunto reducido de páginas bien enlazadas y con contenido de calidad. Publicar 500 páginas excelentes antes que 10.000 mediocres no solo mejora el crawl budget, sino que también acelera la indexación y reduce el riesgo de que Google clasifique el dominio como de baja calidad desde el inicio.
Para estructurar bien ese lanzamiento, el criterio de impacto frente a esfuerzo es útil para decidir qué páginas priorizar en la primera fase de publicación. Así evitas gastar presupuesto de rastreo en páginas que todavía no están listas para competir.
También conviene revisar cómo aparecen esas primeras páginas en los resultados. Entender bien cómo funciona una SERP moderna, con sus módulos y respuestas de IA, ayuda a afinar el tipo de contenido que merece más inversión en rastreo e indexación desde el principio.
Un dato que cambia la perspectiva sobre el rastreo
John Mueller, de Google, confirmó en varias ocasiones que reducir el número de URLs de baja calidad en un sitio puede mejorar de forma directa la frecuencia con la que Googlebot visita las páginas restantes. No es intuición, es matemática: si el bot tiene el mismo presupuesto pero menos páginas que procesar, cada una recibirá más atención. Borrar o bloquear el 20% de las URLs menos relevantes de tu sitio puede tener un efecto más rápido en la indexación de tus páginas importantes que cualquier otra táctica técnica. Es el tipo de acción que vale la pena priorizar antes de buscar soluciones más complejas.
Preguntas frecuentes
¿A partir de cuántas páginas debo preocuparme por el crawl budget?
El crawl budget empieza a ser un problema real cuando tu sitio supera las diez mil URLs. Para webs de cien o doscientas páginas, Googlebot las recorre todas sin dificultad y no necesitas tomar medidas específicas. Sin embargo, en ecommerce, portales de noticias o plataformas con contenido generado por usuarios, el volumen de URLs crece rápidamente y el presupuesto de rastreo se convierte en un factor crítico. Si notas que páginas importantes tardan semanas en indexarse, es una señal de que ya tienes un problema aunque tu sitio no sea enormemente grande.
¿Cuál es la diferencia entre bloquear una URL en robots.txt y añadir la etiqueta noindex?
Bloquear una URL en robots.txt impide que Googlebot acceda a ella, lo que ahorra presupuesto de rastreo directamente. La etiqueta noindex, en cambio, permite que el bot visite la página pero le indica que no la incluya en el índice de búsqueda. El problema de bloquear en robots.txt una página que ya está indexada es que Google no puede leer el noindex si no puede acceder al contenido. Por eso, si quieres eliminar del índice páginas que ya están posicionadas, primero añade noindex, espera a que Google las procese y retire del índice, y solo después puedes bloquear el rastreo si lo consideras necesario.
¿Cómo puedo saber qué páginas está rastreando Googlebot en mi sitio?
El punto de partida es el informe de estadísticas de rastreo en Google Search Console, que encontrarás dentro de la sección Configuración. Ahí puedes ver cuántas páginas rastrea Google cada día, el tiempo medio de respuesta y los tipos de recursos que consume. Para un análisis más detallado y fiable, la mejor opción es revisar los logs del servidor con herramientas como Screaming Frog Log Analyzer, GoAccess o Splunk. Los logs te muestran exactamente qué URLs visita Googlebot, con qué frecuencia y qué códigos de respuesta recibe, lo que te permite detectar si el bot está perdiendo presupuesto en páginas con error 404 o en URLs sin valor como carritos de compra.
¿Por qué los filtros de producto en un ecommerce son tan problemáticos para el crawl budget?
Cada combinación de filtros como talla, color o precio puede generar una URL diferente, multiplicando por cien o más el número total de páginas de un catálogo. Todas esas URLs son esencialmente duplicados del mismo contenido de categoría, y Googlebot las rastrea sin recibir nada de valor a cambio. Esto drena el presupuesto de rastreo en páginas irrelevantes mientras las fichas de producto o los artículos del blog quedan sin visitar. La solución más efectiva es implementar la etiqueta canonical en todas las URLs con parámetros apuntando hacia la URL principal de la categoría, de modo que Google identifique cuál es la versión oficial y deje de gastar rastreo en las variantes.
¿Tiene sentido eliminar páginas de mi sitio para mejorar el crawl budget?
Sí, y es una de las acciones con mayor impacto y más rápida ejecución según ha confirmado John Mueller de Google en varias ocasiones. Si el bot dispone del mismo presupuesto pero encuentra menos páginas que procesar, cada una de las páginas restantes recibirá más atención y se rastreará con mayor frecuencia. Borrar o bloquear el veinte por ciento de las URLs menos relevantes puede mejorar la indexación de tus páginas importantes más rápido que cualquier otra optimización técnica. Realizar una auditoría de contenido periódica para identificar qué páginas borrar, fusionar o redirigir es precisamente el primer paso recomendado antes de buscar soluciones más complejas.
