Hacer un Test A/B, o dar la voz todavía más al cliente

Una de las discusiones más manidas en el mundo del desarrollo de software es cómo decidir qué alternativa tomar, qué solución implementar, sobre la multitud de opciones que puedan surgir en un proceso creativo.

No obstante, el gran problema con el cual nos enfrentamos aquí es que la toma de decisiones parte muchas veces de algo subjetivo. Esto se puede llegar a reflejar en notorios perjuicios para el producto en cuestión. ¿Cómo podemos aminorar gran parte del riesgo que aquí nos surge? Dando voz en la decisión al usuario final.

Y bien, ¿cuál es una de las herramientas más eficaces para hacer partícipe al usuario en la confección de un sistema? Una de las principales es el conocido como Test A/B.

¿Qué entendemos por Test A/B?

Test A/B es el método por el cual comparamos dos o más versiones de un sistema entre ellas para chequear cuál se comporta mejor. ¿Qué quiere decir “comportarse mejor”? Esta es una decisión que basaremos en una métrica de éxito que hayamos definido con anterioridad (objetivo) para medir el éxito de nuestro experimento. Ejemplos hay muchísimos, como podrían ser desde el gasto por usuario en una única compra para una web de e-commerce a el número de emails abiertos para una newsletter enviada por correo electrónico.

¿Cómo medimos el éxito de nuestro objetivo?

Para saber si nuestro experimento ha sido exitoso debemos medir (a partir del objetivo definido) como la versión candidata (variación) se ha comportado respecto a la original (versión de control). Esto lo hacemos a partir de la conversión. ¿Qué queremos decir con esto? Volvamos al primero de los ejemplos mencionados anteriormente: si el usuario gasta más en una única compra con la versión candidata (respecto a la original), querrá decir que la conversión ha mejorado con el experimento, y que esta es la opción que debe ser presentada para todos los clientes. No obstante, si el resultado es el contrario, será conveniente quedarnos con la opción original.

Todo esto está muy bien, ¿pero cómo realizamos este experimento?

Como hemos dicho, queremos basar nuestro experimento en el comportamiento del cliente final. Por ello, el test A/B se realiza en un entorno productivo. ¿Cómo es la mecánica de esta prueba? Disponemos de las dos (o más) versiones en producción, mostrándolas de manera teóricamente aleatoria (aunque es posible establecer ‘targets’ de aparición), a los usuarios que vayan entrando en el sistema. En nuestro ejemplo, podríamos testear dos versiones del checkout de una página e-commerce con un ratio de aparición aleatorio del 50%, de manera que la mitad de los usuarios que entrarán al sistema verían una versión y el resto la otra, midiendo cuál de las dos tiene una mejor conversión.

¿Cómo funciona un test A/B?

Imaginemos que nuestra organización ha decidido darle una oportunidad a la práctica del Test A/B como manera de interactuar más eficazmente con los clientes. ¿Qué proceso seguimos a la hora de realizar un test de estas características? Esta pregunta la podemos resolver con cinco pasos que se deberían seguir para realizar esta práctica con éxito:

• Establecer un objetivo. Todo Test A/B parte de una necesidad, de alguna métrica que nos planteamos que puede mejorar (áreas o partes de nuestro sistema con bajas conversiones). Es por ello que aquí definimos objetivos de conversión.
• Decidir qué vamos a testear. Una vez tenemos analizado nuestro objetivo de mejora, ya podemos empezar a definir una o varias variaciones que compararemos contra la versión original. Este es la que digamos parte más creativa del proceso de realización de un test A/B.
• Preparar el test A/B. El siguiente paso es desarrollar las versiones que vamos a testear, preparándolas también para que se muestren aleatoriamente según el ratio de aparición que hayamos establecido.
• Poner en marcha el experimento. Ahora que ya lo tenemos todo listo para la acción, solo es cuestión de activar el experimento, y esperar pacientemente a tener un número de muestras suficientemente relevantes como para que podamos tomar una decisión.
• Decidir el ganador. Una vez el test ha finalizado, ya solo nos resta analizar los resultados y dejar que la versión ganadora se muestre a todos los usuarios (eliminando la perdedora).

Como podéis imaginar, hay multitud de variaciones y estrategias que se pueden seguir a la hora de realizar un test A/B, por eso os invitamos a consultarnos si tenéis alguna duda al respecto.

En SOGETI entendemos la importancia de obtener el máximo valor empresarial de tus sistemas de IT, conoce nuestras soluciones y servicios de Digital Assurance and Testing.

Isaac Álvarez Diz
QA Manager | SOGETI ESPAÑA