Cómo funciona la estadística de Google Optimize

Por Pedro Viterbo

Te muestro un ejemplo de experimentación digital que aplican las mejores empresas del mundo

Resumen del artículo: La experimentación es fundamental para ser más rentable y tener una propuesta de valor centrada en usuarios.

Te muestro las dimensiones teóricas y prácticas de Google Optimize para crear un test A/B y te explico como funciona para probar hipótesis de negocios que ayuden a optimizar las tasas de conversión de tu sitio web.

¿Por qué hacerlo? podrás entregar una mejor experiencia de usuario que va a significar en aumentar la rentabilidad de tu producto (y de tu organización)

Índice del artículo

1. Bayes: el modelo estadístico de Optimize
2. ¿Cómo analizar un Test A/B en Optimize?
3. Recomendaciones prácticas

Cuando termines de leer este artículo conocerás como Google Optimize enfoca la medición de los experimentos digitales, cuales son las principales variables que debes manejar para tomar decisiones y algunas recomendaciones para enfocar tus experimentos hacia la rentabilidad.

1. ¿Cual es el modelo estadístico de Optimize?

Existen 2 modelos para interpretar probabilidades, por un lado tenemos los modelos frequentistas (o clásicos) y por otro tenemos los modelos bayesianos.

Para poder explicarlos mejor, cito un ejemplo de Google Support:

Imagine que ha perdido su teléfono en casa y oye que suena en una de las cinco habitaciones. Por sus experiencias anteriores, sabe que suele dejar el teléfono en el dormitorio.

Un enfoque frecuentista le obligaría a quedarse inmóvil y escucharlo sonar, con la esperanza de poder determinar con seguridad en qué habitación se encuentra, y todo eso desde el punto en el que se encuentra, sin moverse. Además, no podría usar la información sobre dónde suele dejarlo.

En cambio, un enfoque bayesiano se corresponde bien con nuestro sentido común. En primer lugar, usted sabe que a menudo deja su teléfono en el dormitorio, por lo que tiene más posibilidades de encontrarlo allí, y se le permite utilizar ese conocimiento. En segundo lugar, cada vez que suena el teléfono, puede caminar un poco más cerca de donde cree que se encuentra el teléfono. Por tanto, las posibilidades de encontrar su teléfono son mucho mayores.

El enfoque frecuentista genera una interpretación basada en los patrones obtenidos hasta el momento (ej. Si de 100 lanzamientos de moneda, obtuvimos “cara” 15 veces, la probabilidad de obtener “cara” es un 15%), mientras que el enfoque bayesiano parte de la base de que tenemos información incompleta (ej. Si al plantar 100 semillas de arboles, 30 crecen satisfactoriamente, no es correcto decir que existe un 30% de probabilidades de que al plantar un arbol este crezca bien).

¿Qué implica que Optimize utilice el enfoque bayesiano?

En términos de interpretación estadística, implica que si pasas más tiempo recogiendo datos, la interpretación será más cercana a un óptimo (mientras más datos, mejores conclusiones).

En términos del experimento, implica que Optimize estara continuamente estimando las probabilidades y tasas de conversión para que puedas tomar decisiones independientes de la conclusión final.

Recibirás recomendaciones de la herramienta en durante el transcurso del tiempo, a pesar de no haber concluido el experimento con una muestra de datos significativa, incluso te puede recomendar finalizar el experimento para que puedas replantear las hipótesis o variables a testear.

2. Cómo interpretar los resultados de Optimize

El panel de resultados de Optimize es más simple y fácil de leer de lo que parece.

Revisemos un ejemplo de Firecase (mi empresa de cobranza judicial de documentos impagos) donde estamos probando una pequeña variante de texto en el call to action (CTA) del botón principal del home.

Contexto: luego de un benchmark por distintos sitios web nacionales e internacionales, decidimos que el mejor CTA para Firecase era “Iniciar Cobranza”.

Luego de recibir cierta cantidad de tráfico, leads y contactos con clientes potenciales, nos dimos cuenta que al momento de la llamada se estaba repitiendo un patrón: “necesito cotizar una cobranza”. ¿Próximo paso? experimentar.

Como analizar los resultados en el panel de Optimize

El panel está compuesto por 3 secciones, en primer lugar vemos las Variantes del experimento (en este caso Original v/s CTA cotiza), en la parte central vemos los Datos Observados que consulta data directamente de Analytics y en la parte derecha vemos el Análisis de Optimize con resultados para tomar decisiones.

En este ejemplo la cantidad de datos de la muestra no es significativa, el experimento debe seguir recogiendo datos para identificar una variable líder de manera clara.

Para este caso explicaremos las variables que analiza Optimize:

I. Probabilidad de ser la mejor:

Simplemente muestra la probabilidad de que una variante tenga el mejor resultado para el objetivo definido, por sobre las demás variables.

II. Tasa de conversión basada en patrones:

Nos muestra cual es la estimación del modelo estadístico de Optimize para las tasas de conversión de una variable en particular. Para graficarlo de una manera más amigable, nos entrega un rango:

En este ejemplo, para nuestra variable “CTA Cotiza” (con tasa de conversión actual estimada de 7,84%) nos está diciendo:

• 95% medio: existe un 95% de probabilidades de que la tasa de conversión estará entre un 3,2% y un 18,4%.
• 50% medio: existe un 50% de probabilidades de que la tasa de conversión estará entre un 6,4% y un 11,7%.
• Mediana: es la estimación a largo plazo de la tasa de conversión para la variante “CTA Cotiza” que está entregando el modelo estadístico de Optimize.

III. Mejora basada en patrones:

Esta columna nos entrega cuantitativamente los límites superiores e inferiores para tener una expectativa de lo que debieramos esperar en una vista a largo plazo.

En este caso lo que nos está diciendo Optimize, en términos relativos, es que en el mejor escenario posible nuestra variante tendrá un 423% mejor tasa de conversión que la Línea de base. Y que en el peor escenario, la tasa de conversión será un -65% peor que la tasa de conversión base.

Si de algo podemos estar seguros es de que este experimento necesita más tiempo y más tráfico para tener una mejor estimación. Justamente eso es lo que nos puede ayudar a identificar esta sección del panel.

3. Recomendaciones para crear un experimento en Optimize

No entraré en detalles sobre como implementar un test a/b porque existen bastantes guias o tutoriales en internet que lo explican bastante bien (ver paso a paso de Google Support).

Sin embargo, te puedo contar de mi experiencia como puedes enfrentar un experimento para poder sacarle partido.

Genera hipótesis que busquen rentabilidad:

La experimentación existe para aumentar la rentabilidad de un producto o negocio, te recomiendo que las hipótesis a validar sean orientadas a indicadores que puedas relacionar a tu modelo de ingresos o costos.

Enlaza las hipótesis a objetivos del negocio y no métricas vanidosas:

Te recomiendo fijar un objetivo orientado a la conversión y no a indicadores de engagement (puedes ponerlos como objetivos secundarios, pero el objetivo no debiera ser disminuir la tasa de rebote si eso no significa un aumento de rentabilidad).

Experimenta hipótesis que permitan accionar mejoras prácticas:

Un error común es validar interfaces que no puedas desarrollar en el corto plazo o que estén fuera de tu capacidad de desarrollo. A veces uno se ve tentado por la facilidad de modificar una interfaz con el “builder” de optimize.

Utiliza reglas para probar con muestras diferentes:

Cada canal de tráfico tiene un comportamiento diferente, Optimize te permite segmentar experimentos por fuentes de tráfico (y mucho más), te recomiendo partir con experimentos segmentados a una audiencia específica para probar “barato”.

Por ejemplo, puedes enlazar un experimento a usuarios de una campaña de Google Ads (incluso puedes probar para una palabra clave en específico):

Conclusión

La experimentación digital es fácil y significa poco esfuerzo en términos de desarrollo o inversión. Google Optimize es una herramienta gratuita que nos permite acceder a un modelo estadístico como el bayesiano, que por nuestra cuenta no seríamos capaces de construir.

Te invito a probar la herramienta, crear experimentos y mejorar la rentabilidad de tu área / negocio / organización / emprendimiento / empresa, etc.

La experimentación es la manera más eficiente para lograr crear una propuesta de valor centrada en usuarios, con información en tiempo real, a gran escala, rápido y barato.

Escrito por Pedro Viterbo Ingeniero comercial con Master de Innovación y Emprendimiento. Actualmente co-fundador de Firecase.cl y product manager de Rompecabeza Digital en Chile.