¿Conoces la métrica crawl budget (presupuesto de rastreo, en inglés)? En este post te contamos todo sobre ella y por qué influye en el posicionamiento de tu web. A manera de definición general, crawl budget es una métrica a través de la cual se puede medir la cantidad de veces que el algoritmo de un motor de búsqueda visita las páginas de una web.
Lo interesante en este caso –y lo que puede influir en el posicionamiento de tu web– es que a través de técnicas SEO la tasa puede llegar a optimizarse. Esto significa que el algoritmo puede llegar a hacer más rastreos y priorizar las páginas más importantes del sitio web.
Cómo funciona el crawl budget
El crawl budget indica específicamente cuántas páginas visita y qué tan rápido son rastreadas por el motor de búsqueda. De esta manera, el índice resulta afectado por la cantidad de recursos que los rastreadores usan en un sitio determinado. También influye en la métrica la cantidad de rastreo que cada servidor es capaz de admitir.
Algo importante a tener en cuenta es que no necesariamente y aunque se logre un mayor rastreo, esto significará una mejor clasificación. Pero, si las páginas no logran indexarse y rastrearse, no serán clasificadas en absoluto.
Ciertamente, hay una buena cantidad de sitios web a los que la métrica del Crawl budget les tiene sin cuidado. Sin embargo, hay algunos casos en los que sí puede llegar a importar esta métrica y, en caso de hacerla mejorar, afectará directamente al posicionamiento web de manera positiva.
En qué casos importa más el crawl budget
Como una afirmación un tanto general, podemos decir que el Crawl budget puede no ser un motivo de preocupación en páginas que son populares. En casos de páginas más recientes o que no son tan populares, sí es más importante. También las páginas que no están bien vinculadas o que no cambian mucho no suelen rastrearse con frecuencia.
De esta manera, el crawl budget sí tiene que ser un motivo de preocupación para aquellos sitios que son más nuevos. Asimismo, la métrica debe ser tomada especialmente con mucho cuidado para los sitios más recientes con muchas páginas.
Hay que tomar en consideración que el motor de búsqueda no rastreará un sitio nuevo hasta saber de alguna manera que vale la pena hacerlo.
Entonces, si un sitio tiene muchas páginas que no se rastrean o que no se actualizan puede resultar necesario acelerar el rastreo.
Importancia de esta métrica
El objetivo final de todas las estrategias que se lleven a cabo en SEO es obtener un posicionamiento favorable de una página web en la página de resultados de los motores de búsqueda.
Para ello resulta fundamental realizar acciones centradas en el rastreo de las páginas que componen el sitio web que se desea posicionar. La lógica es simple: si las páginas de la web no son rastreadas por el motor de búsqueda, será imposible que estas aparezcan en su página de resultados.
En consecuencia, si tu sitio recibe más y mejores rastreos, las páginas que lo componen obtendrán un mejor posicionamiento web. Y obviamente un sitio con un mejor posicionamiento será un sitio al cual su audiencia podrá llegar con más facilidad.
Por supuesto, si bien es necesario que el algoritmo detecte con mayor frecuencia el sitio y se eleve el posicionamiento, también es necesario que la experiencia de los usuarios al visitar la web sea positiva. No podemos olvidar que mejorar una web también significa mejorarla para su público objetivo.
Conocer la actividad de rastreo
Para saber muchos más detalles acerca de la manera en la que Google rastrea una página web, podemos dirigirnos directamente a los informes que el motor de búsqueda proporciona. En Google Search Console, podrá encontrarse toda la información completa en el informe de Estadísticas de rastreo.
A través de los diferentes informes que arroja Google, podrán encontrarse los diferentes cambios que puedan existir en el comportamiento del Crawl o rastreo. También servirán los informes para identificar algunos problemas. Otro detalle que se podrá estudiar es la manera en la que el motor de búsqueda rastrea el sitio.
Los informes son bastante detallados y muestran las marcas de tiempo que indican cuándo se rastrearon por última vez las páginas.
Qué se contabiliza en el crawl budget
Todas las URL y las solicitudes son contabilizadas dentro del crawl budget. Esto significa que las URL alternativas como páginas AMP, CSS y JavaScript son contabilizadas dentro de esta métrica.
Para saber más detalles de los diversos componentes del rastreo, puede revisarse el informe Estadísticas de rastreo en Google Search Console. Este informe dará detalles de los diversos Googlebots que rastrean cada sitio web.
Herramientas
Para poder ver todos los resultados de los usuarios, es necesario acceder a los archivos de registro. Sin embargo, dependerá de factores como el alojamiento y la configuración del sitio que tengas acceso a algunas herramientas más específicas. Por ejemplo, a través de Awstats y Webalizer pueden mostrarse datos agregados de sus archivos de registro para contar con una mayor cantidad de información.
Si la configuración es más compleja, resultará un paso necesario obtener acceso y almacenar datos de los archivos de registro que no se han procesado. Estos datos posiblemente procedan de múltiples fuentes.
En algunos casos, será necesaria la utilización de herramientas diseñadas especialmente para proyectos de gran tamaño. Entre ellas, cuenta la herramienta de análisis de registros Splunk
Cómo rastrea Google las páginas
Para rastrear las páginas web e indexar palabras y contenidos, Google se sirve de los bots conocidos arañas o rastreadores –el de Google es conocido como Googlebot–. Una vez que el rastreo es realizado, Google incorpora el resultado en su índice, es decir, los incorpora a su base de datos de resultados de búsqueda.
Esto a su vez permite que los sitios web logren optimizarse y cuenten con un mejor posicionamiento. Hay que señalar que para que los rastreadores logren su tarea, es necesario que las URL sean encontradas con facilidad.
Podría entonces decirse que un sitio web con pocas páginas y pocos URL internos será rastreado más fácilmente por los motores de búsqueda. Pero, cuando se trata de un sitio web con muchas páginas y con una generación constante de diferentes URL, el rastreador se dispersará más para rastrearlo.
Esto significa que, mientras más grande sea un sitio web y más páginas contenga, será necesario tomar más en cuenta la frecuencia de rastreo del buscador y será mucho más necesario analizar y optimizar el crawl budget.
Cómo hacer que Google rastree tu web con más frecuencia
Para lograr que el sitio web admita un rastreo adicional y aumente la demanda de rastreo hay algunas opciones adicionales que pueden tomarse. Veamos algunas:
Acelerar el servidor
Google rastrea las páginas para descargar recursos y procesarlos al final. Esto significa que el crawl budget puede verse afectado de acuerdo a la velocidad en la que Google pueda conectarse y descargar dichos recursos. Recuerda que esto se relaciona con el servidor y los recursos que este posea, no con lo que perciban los usuarios.
Más enlaces externos e internos
La demanda de rastreo suele relacionarse con los enlaces y con la popularidad. De esta manera, al aumentar la cantidad de enlaces externos e internos se aumentará la métrica. Obviamente, es más fácil controlar los enlaces internos, ya que uno mismo controla el sitio web.
