Tests A/B que no mienten: cuándo fiarte del ganador
Lanzas dos versiones de tu landing, a los tres días una va "ganando" y la promocionas. Un mes después, la conversión no ha mejorado. No es mala suerte: es que el test te dijo lo que querías oír. Así se distingue un ganador real de un espejismo.
El ganador de las cuatro visitas
Con muestras pequeñas, el azar manda. Si la versión A lleva 5 conversiones y la B lleva 8, la diferencia parece un 60% de mejora… pero con esos números, volver a lanzar la misma prueba podría dar el resultado contrario. Es el equivalente a tirar una moneda seis veces, sacar cuatro caras y concluir que la moneda está trucada.
Para una agencia esto tiene un coste doble: promocionas una variante que no es mejor, y encima le cuentas al cliente una mejora que nunca aparecerá en su cuenta de resultados.
Qué significa "significativo" de verdad
Un resultado es estadísticamente significativo cuando es muy improbable que la diferencia se deba al azar. El estándar habitual es el 95% de confianza: si repitieras el experimento cien veces, en al menos noventa y cinco el ganador seguiría siéndolo.
La trampa más común no es ignorar la estadística: es mirar el test cada día y pararlo el primer día que sale verde. Eso se llama peeking, y convierte un test honesto en una profecía autocumplida — si esperas al día en que el azar favorece a tu variante preferida, siempre acabará "ganando".
Las tres reglas para no engañarte
- Una variable por test. Si cambias el titular, el precio y el botón a la vez, sabrás cuál versión ganó pero no por qué — y no podrás repetir el acierto en la siguiente landing.
- Semanas completas. El tráfico del lunes no se comporta como el del sábado. Un test que corre de miércoles a viernes compara públicos distintos sin querer; deja siempre ciclos de semana enteros.
- La muestra se decide antes de empezar. Fija cuántas visitas o conversiones necesitas y no pares antes, aunque el marcador vaya "clarísimo". El marcador de un test a medias miente con una sonrisa.
Cómo lo hace Wirefunnels
Wirefunnels lleva la estadística dentro: reparte el tráfico por cookie (cada visitante ve siempre la misma versión), mide conversiones, no clics, y solo declara un ganador cuando hay muestra suficiente y confianza real — hasta entonces, te dice honestamente que aún no se sabe.
Cuando el ganador existe, lo promocionas con un clic y sin cortar el tráfico. Aquí tienes la guía para crear tu primer test, o pruébalo gratis.