Dashboard de Screaming Frog en Data Studio para Desktop y Mobile: Datos, Evolución y Macros en Spreadsheets [Incluye Plantillas]

Hace un tiempo elaboré un sencillo dashboard en spreadsheets para poder ver los datos que reporta Screaming Frog en un sólo panel con el objetivo de poder visualizar los datos de una vez, sin tener que estar cambiando pestañas y demás; pero últimamente he estado trabajando en ir un paso más allá e integrarlo en Data Studio, no sólo para reportar los datos sino también para poder ir analizando su evolución a medida que se van aplicando cambios.

Al principio trataba de utilizar los enlaces internos y externos que se pueden exportar de SF y liándome con diferentes fórmulas en spreadsheets intentaba resumir la información en tablas y representarla en gráficas…hasta que descubrí que es posible exportar los datos resumidos de la columna derecha de SF ?.

Lo «complicado» no era reportar los datos en sí de SF, sino cómo trabajar las gráficas de la evolución de la manera más simplificada y automatizada posible y que, obviamente, se plasmara en una serie temporal.

A continuación presento los pasos para que crees tu propio panel de SF en Data Studio a través de Spread Sheets y también dejo las plantillas. Eso sí, todo lo que comento es para que lo repliques si tienes algo de tiempo y sobretodo si estás empezando, porque practicando y probando es la única manera de ganar experiencia.

Sólo una última cosa más, el objetivo es darte ideas para que tu apliques a los proyectos. Mira los pasos con calma, intenta replicarlos y no te ciñas exclusivamente a los datos que he puesto, juega con lo que realmente necesitas e incluso mejora lo que expongo en el articulo. Eso es realmente lo que mola de este apasionante sector. Vamos a ello!?

1. Exportar los rastreos de SF y añadirlo en un Spread Sheets.

Daré por hecho que ya sabes configurar «la rana» y sino, te recomiendo los post y videos sobre la herramienta de MJ Cachón, que son realmente una pasada y te explica absolutamente todo de la última versión.

La idea es recopilar los datos resumidos de SF, tanto del rastreo con el user agent de google bot regular como con google bot smartphone. Esto es interesante porque podemos descubrir errores en los rastreos para móvil que podría no detectarse en desktop. Un ejemplo práctico pueden ser los niveles de profundidad del site, que sean diferentes en ambas versiones o, incluso, que no haya encabezados H1 en móvil pero sí en la versión de escritorio.

a) Realiza el rastreo con el user agent de google bot regular y exporta los datos:

Dirígete al menú superior y selecciona «Configuration» > «User-agent». Se te abrirá una ventana como la que se muestra a continuación y deberás abrir el desplegable para seleccionar «Google Bot Regular». Ahora haz clic en «Start» para que Screaming Frog comience el rastreo.

Una vez finalizado, debemos exportar simplemente la columna resumen del lado derecho; para ello dirígete al menú superior en «Reports» > «Crawl Overview» y ya se abre una ventana para la descarga.

b) Importa los datos a un Spread Sheets:

Puedes nombrar el documento como te sea más cómo, por ejemplo, «BD_Cliente x_ Screaming Frog | Data Studio», pero que sea siempre descriptivo. En la primera pestaña pega el contenido del excel exportado a la hoja de cálculo de spreads sheets. Sólo tienes que seleccionar y copiar las columnas A hasta la E del excel y pegarlas en el spreads sheets donde estás trabajando.

Recuerda renombrar la pestaña donde has pegado los datos del rastreo, por ejemplo «SF|Desktop«.

Ahora sería hacer exactamente lo mismo pero con el rastreo de google bot smartphone y añadiendo los datos en una nueva pestaña, por ejemplo, «SF|Smartphone«.

2. Creando las pestañas y columnas básicas para conectar Data Studio:

A la hora de conectar Data Studio a Spreads Sheets, este necesita recoger la información por columnas. Necesitarás crear 4 pestañas adicionales: dos para la recopilación de datos y otras dos para recoger los valores evolutivos por fechas; todo ello para los dos tipos de rastreos. Te aconsejo que las denomines también con una nomenclatura legible, por ejemplo:

  • SF | Desktop | Data Studio
  • SF | Smartphone | Data Studio
  • Evol. SF | Desktop | Data Studio
  • Evol. SF | Smartphone | Data Studio

En las dos primeras pestañas (SF | Desktop | Data Studio, SF | Smartphone | Data Studio) añadimos para la primera fila las siguientes cabeceras:

  • Urls encontradas
  • Urls rastreadas
  • Int. bloqu. robots.txt
  • Total urls
  • Nº urls Urls Internas
  • Nº urls internas
  • Urls externas
  • Nº urls externas
  • Protocolos
  • Nº urls protocolos
  • Códigos respuesta
  • Urls Cod. Estado
  • Content
  • Nº urls content
  • URI
  • Nº uri
  • Titles
  • Nº urls titles
  • Descriptions
  • Nº urls descriptions
  • Encabezados H1
  • Nº urls H1
  • Encabezados H2
  • Nº urls H2
  • Imágenes
  • Nº urls imágenes
  • Canonicals
  • Nº urls canonicals
  • Paginaciones
  • Nº urls paginaciones
  • Metarobots
  • Nº urls metarobots
  • Hreflang
  • Nº Hreflang
  • AMP
  • Nº urls AMP
  • Niveles de Profundidad
  • Nº urls niveles profundidad
  • Tiempo de carga (segundos)
  • Nº urls tiempo de carga

Para que «aparezcan» los datos en las celdas de manera automática simplemente debes vincularlas. Para esto selecciona la celda donde quieres mostrar el dato y escribe «=»:

Haz clic en la pestaña donde tienes los datos de SF:

Selecciona la celda del dato y pulsa Enter:

Y listo! Ya está vinculada. Pues así para todas las celdas de datos de las dos pestañas «SF | Desktop | Data Studio» y «SF | Smartphone | Data Studio«. Ahora cada vez que pegues los datos exportados de Screaming Frog se actualizarán las celdas.

Ahora para las dos últimas pestañas (Evol. SF | Desktop | Data Studio, Evol. SF | Smartphone | Data Studio) añadimos para la primera fila las siguientes cabeceras:

  • Fechas
  • Urls encontradas
  • Urls rastreadas
  • Nº urls internas
  • Success (2xx)
  • Redirection (3xx)
  • Client Error (4xx)
  • Missing Duplicate
  • Over 65 Characters
  • Below 30 Characters
  • Missing D
  • Duplicate D
  • Over 155 Characters D
  • Below 70 Characters D
  • HTML
  • JavaScript
  • CSS Images
  • PDF Flash
  • Other
  • Unknown

Para recopilar los datos de una manera algo más automatizada y que no desaparezcan al cambiar de exportaciones, en este caso, utilizaremos macros. Lo explico en el siguiente punto.

3. Creando instrucciones de macros básicos en Spread Sheets:

Las macros para spread sheets o excel, son un conjunto de acciones o secuencias que posteriormente se pueden activar en un clic. Es como en Photoshop la grabación de acciones para aplicar a lotes de una sola vez, por ejemplo.

Vamos a realizar una a modo de ejemplo y cómo aplicar el código que te dejo a continuación:

function Mes1() {
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B7:B8').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('B2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B7:B8').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B13').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('D2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B13').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B48:B49').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('E2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B48:B49').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B52').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('G2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B52').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B70:B73').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('H2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B70:B73').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B81:B84').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('L2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B81:B84').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
  var spreadsheet = SpreadsheetApp.getActive();
  spreadsheet.getRange('B18:B25').activate()
  spreadsheet.setActiveSheet(spreadsheet.getSheetByName('?Evol. SF | Desktop | Data Studio'), true);
  spreadsheet.getRange('P2').activate();
  spreadsheet.getRange('\'? SF|Desktop\'!B18:B25').copyTo(spreadsheet.getActiveRange(), SpreadsheetApp.CopyPasteType.PASTE_NORMAL, true);
};

En primer lugar sitúate en la pestaña donde quieres coger el dato y haz clic en Herramientas > Macros > Grabar macro:

Selecciona el dato que te interesa y copia pulsando Ctrl + C (Windows) o Command + C (Mac) y vuelve a la pestaña donde quieres pegar dicho dato. Pégalo con Ctrl + V (Windows) o Command + V (Mac) en la celda y ya puedes parar la grabación.

Al hacer clic en «Guardar» deberás nombrar el macro, y te recomiendo que lo denomines como «Mes 1 | Desktop» porque vas a tener que hacer lo mismo para el resto de meses y dispositivos. Es un poco laborioso al principio pero luego ya sólo es una acción.

Una vez guardado, dirígete a Herramientas > Editor de secuencias de comandos.

Se te abrirá una nueva ventana con un código como este:

Copia y pega el código que te dejé al principio de este apartado. Recuerda dejar siempre el principio «function Mes1() {» y el final «};». Si observas con atención, puedes darte cuenta que es posible cambiar las celdas donde realizar las acciones desde el propio editor.

En resumen, este proceso habría que repetirlo en función del número de meses o semanas que quieres monitorizar. Ahora, cada vez que quieras volcar estos datos, simplemente tienes que hacer clic en el activador de macros y todas las celdas se cubrirán automáticamente.

Ten en cuenta que si SF añade o suprime características, deberás revisar que los datos son los correctos o adaptar alguna columnas con los datos.

4. Los datos en Google Data Studio:

Ahora viene la siguiente parte divertida, representar la información en Data Studio.

He dividido el informe en tres páginas:

a) Rastreo e Indexación:


  • Tipo de contenido de las urls internas.
  • Tipo de contenido de las urls externas.
  • Códigos de estado.
  • Metarobots.
  • Distribución de protocolos.
  • Canonicals.
  • Estado de urls.
  • Paginaciones.
  • Tiempos de respuesta.
  • AMP.
  • Niveles de profundidad.

B) Contenido y Relevancia:


  • Meta Titles.
  • Meta Descriptions.
  • Encabezados H1 y H2.
  • Imágenes.
  • Contenido (peso de páginas y extensión de texto).

C) Evolución o Seguimiento de Cambios:

  • Evolución Urls.
  • Evolución códigos de estado.
  • Tipología Urls internas.
  • Meta Titles.
  • Meta Descriptions.

Y aquí está el resultado:

Te dejo los enlaces de las plantillas para que puedas «trastear» con ellas: Documento Spreads Sheets y Plantilla Data Studio. Recuerda hacer una copia de las plantillas en tu drive para poder editarlas.

Reflexiones

En este último apartado quiero dejar algunas reflexiones ya que seguramente te preguntarás porqué narices quiero añadir datos del rastreo de google bot smartphone y más aún, porqué quiero comparar los datos de los Meta Titles y Meta Descriptions o los encabezados.

El objetivo de crear un dashboard sobre los datos que reporta Screaming Frog es poder ver los «síntomas» de un proyecto, y cuando trabajas con un montón de webs te puedes encontrar de todo. Lo último curioso que me encontré es tener encabezados en desktop y no tenerlos en móvil, de ahí disponer de esa vista en el dash y poder detectarlo o al menos que nos dé la pista para seguir investigando. Otros datos útiles de comparar es la profundidad de navegación o los intervalos de tiempos de carga.

En cuanto a los Metadatos, es obvio que en principio serán los mismos para ambos dispositivos, pero visto lo visto, ¡quién sabe si algún día de encuentras con una sorpresa y aparecen datos dispares!

Recuerda que los datos en sí no son una respuesta, sino un medio para hacernos más preguntas y conseguir razonar lo que ocurre para buscar una solución.

¿Te ha gustado el artículo? Por favor, no te cortes en dejar tu opinión y así poder mejorar el contenido.

Referencias relacionadas de interés

SEO Spider Companion Tools, Aka ‘The Magnificent Seven’ (Gracias Seoestratega)

Programar crawleos en Screaming Frog paso a paso (MJ cachón)

Automating SEO Reporting with Google Data Studio – DeepCrawl


9 comentarios en “Dashboard de Screaming Frog en Data Studio para Desktop y Mobile: Datos, Evolución y Macros en Spreadsheets [Incluye Plantillas]”

  1. Una pasada!!! todo muy bien hasta tener que conectar con el data studio, espero realices un nuevo post sobre esta parte, pues no es fácil al crear las copias de los spreadsheets, no arroja los resultados y hay que configurarlo!!! pero muy muy bueno

    Responder
    • Gracias por comentar David, porque es la única manera de que me entere si hay algún problema. =) Tengo planificado actualizarlo en breves. Claro, supongo que cuando copias la plantilla tendrás que actualizar las fuentes. Intentaré explicarlo mejor y anticiparme a esos detalles.

      Pero insisto, coge la idea y trastea, es la manera de sacarle partido y aplicarlo incluso a otras cosas.

      Un saludo!

      Responder
      • Muchas gracias Pablo, si me tire una tarde muy buena, al final con un poco de constancia encontre la forma de poner correctamente la fuentes, y estoy muy contento.

        Es una forma muy PRO de mostrar informes!!!
        Lo de dar a la imaginación esta fenomenal, pero para otras cosas, mi humilde opinión, estado viendo informes molones, que tardaría como 1 mes, en darle ese formato 😉

        Gracias, saludos

        Responder
    • Hola Jordi!

      1. Abres la hoja de cálculo desde el enlace del post.
      2. Una vez abierta, dirígete a Archivo > Crear copia (recuerda que tienes que estar logeado con tu cuenta de Google para poder hacer la copia en tu unidad).
      3. Abres el informe de Data Studio y también creas una copia.
      4. Una vez estés dentro del informe, dirígete en el menú superior a Recursos > Administrar Fuentes > Añadir nueva fuente de datos. Se te abrirá una pantalla para seleccionar el conector, en este caso «Hojas de cálculo de Google». Lo seleccionas y buscas la hoja que te habías copiado en tu Google Drive.
      5. Luego tienes que ir conectando cada una de las pestañas de la hoja de cálculo para que Data studio «beba» de las que correspondan.

      Un saludo!

      Responder
  2. Un video seria genial , de todas maneras agradezco el buen articulo, pero seguirlo por texto no es tan cómodo como lo seria con un video tutorial.

    Responder
    • Hola Jose! pues sí, con una especie de video tutorial siempre ayuda a entenderlo mejor. Lo malo, como nos pasará a todos, es el tiempo jajaj pero todo es lanzarse! gracias por la propuesta =)

      Responder
  3. Hola Pablo:

    Pedazo de guía te has mandado, desde hace días estaba buscando algo así y gracias a otra guía de MJ Cachón llegué hasta aquí.

    Aunque he seguido todos los pasos y todo está muy claro, tengo algunas dudas en la parte 3, agradecería mucho si me puedes echar un cable por favor.

    1. Para que aparezcan todos los datos de las respectivas filas (hoja Evol. SF) ¿los debo copiar y pegar uno a uno para que queden grabados en la macro?

    2. No entiendo a qué se refieren los encabezados Missing Duplicate, Missing D y Duplicate D dentro de Screaming Frog.

    Muchas gracias por compartir este excelente recurso y por tu valiosa ayuda.

    Saludos.

    Responder
    • Respuesta editada!

      Hola Juan! vale, ya veo la duda =)

      1. Las evoluciones NO tienes que ponerlas a mano en la macro, al menos para los 5 meses que ya están. Si necesitas añadir más meses, tendrás que replicarlas y cambiar las filas correspondientes para que se vayan añadiendo unas debajo de otras.
      2. Lo de Missing D, Duplicate D,….se refiere a que son las columnas correspondientes a Desktop. Y gracias por verlo porque me fijé que lo tengo igual para Smartphone, que tendría que ser Missing S, Duplicate S. Esto es más que nada porque no podemos tener columnas con el mismo encabezado a la hora de que Data Studio «beba» de un mismo sheets.

      Justo mañana tengo el día para actualizar los reportes nuevos de la última actualización de screaming, así que ya voy corrigiendo esos detalles.

      Muchas gracias Juan por estar tan atento =)

      Un saludo!

      Responder

Deja un comentario