Introducción al Multi Armed Bandit: Los Test AB

Antes de hablar del Multi Armed bandit, vamos a hablar de los Test AB: los test AB llevan con nosotros mucho tiempo, y son una herramienta fundamental en las estrategias de CRO de cualquier ecommerce que quiera optimizar sus procesos, funnels y, sobre todo, sus ratios de conversión.

 

Hasta ahora, la mejor forma de optimizar una web eran los test AB, que comienza cuando nos preguntamos ¿oye, y si X funcionase mejor si fuera de esta otra forma?, esto sería el primer paso en la creación de un test AB: La Hipótesis.

 

Una vez que tenemos la hipótesis, debemos tener claro cómo vamos a medir el resultado de la prueba, debemos definir que kpi o kpis vamos a tener en cuenta para dirimir el éxito de una u otra versión.

 

Lo siguiente sería la implementación de los cambios que hemos definido en la hipótesis, y configurar la prueba para que un grupo de usuarios vean la nueva versión y el otro vean la antigua versión (normalmente al 50%, pero puede haber más versiones y repartiremos el 100% del tráfico entre ellas).

 

Etapa de Exploración y etapa de explotación

Una vez tenemos el test AB “montado” entramos en la etapa de exploración.

Cuando tengamos los suficientes datos, deberíamos tener una significancia estadística de más del 95%, podemos ver qué versión funciona mejor para el kpi que nos hayamos marcado, e implementar para todos los usuarios la versión ganadora. Pasaríamos a la estapa de explotación.

 

Esta forma de actuar tiene algunos inconvenientes:

 

• El tiempo: si tu página tiene poco tráfico las pruebas AB pueden tardar mucho en arrojar datos con una significancia estadística aceptable.

 

• Coste: Durante la prueba, siempre vas a mostrar una versión al x% de los usuarios y el y% a otra, es decir, durante el tiempo que dure la prueba vas a estar mostrando a un x% de los usuarios una versión que no es la óptima.

 

La solución a estos problemas:

El multi armed bandit, es una nueva metodología que ayuda a mitigar estos 2 problemas fundamentales de los test AB.

 

¿Qué es el Multi Armed Bandit?

El multi armed bandit consiste en hacer un test AB con varias opciones, en la que la propia herramienta mediante un algoritmo va aprendiendo durante la prueba qué versión es la más óptima para el Kpi que hayamos marcado en cada caso (CTR, CR…) y la va mostrando a un mayor número de usuarios, es decir, durante la etapa de Exploración, ya podemos empezar con la etapa de Explotación consiguiendo reducir el coste de perder conversiones con la versión no óptima.

 

¿Para qué usamos el Multi Armed Bandit?

Esta forma de proceder mitiga en gran medida los 2 grandes problemas de un test AB:

• El tiempo: esta metodología no aporta una significancia estadística, simplemente va mostrando en cada caso la versión que a priori es la más óptima.

 

• Coste: el coste de mostrar a los usuarios una versión que no es la mejor, se soluciona de forma mucho más rápida ya que el propio sistema irá mostrando cada vez menos la versión que no es mejor para el kpi que nos hayamos marcado.

 

Vamos a ver con este gráfico de una forma más clara esto que estamos explicando:

Como muestran los gráficos, la versión A es la más óptima, y en los puntos temporales del 1 al 5 de A/B testing vemos que sólo estamos en la etapa de exploración y que ya en el punto 6 pasaríamos a la etapa de explotación, poniendo para todos los usuarios la opción ganadora.

 

En Cambio, en el multi armed bandit vemos como en el punto 2 el algoritmo empieza a tener datos suficientes para ir dando cada vez más tráfico a la opción ganadora unificando en el mismo periodo de tiempo las etapas de Exploración y Explotación y minimizando la pérdida de conversiones derivada de mostrar una opción no óptima.

 

Multi Armed Bandit Vs. Test AB

Como hemos visto a lo largo del artículo, el test AB nos dará una información más confiable, pero tardaremos más tiempo y esto supone un coste, por lo tanto, será idóneo cuando tengamos tiempo para hacer la prueba y el coste que nos suponga no sea elevado.

 

Pero entonces, ¿Cuándo es mejor usar el multi armed bandit?

La respuesta es sencilla, cuando el test lo queramos hacer en una franja de tiempo corta donde el coste de hacer una prueba sea elevado, por ejemplo una campaña para el black Friday en la que queremos probar 2 campañas distintas sería ideal para este tipo de metodología ya que el tráfico se irá destinando a la opción que mejor convierte durante la campaña y en condiciones normales no tenemos tiempo de saber con un confianza aceptable que opción es la mejor y además, el coste de mostrar a usuarios la campaña menos óptima es elevado.