Calculadora de significancia de pruebas A/B gratis

Compruebe si la versión B realmente superó a la versión A, con valor p, mejora e intervalo del 95%.

Cargando el editor…

Calculadora de significancia de pruebas A/B: cómo se usa

Cuando un titular o una página de destino nuevos convierten mejor, cuesta distinguir una mejora real del simple azar. Esta calculadora aplica una prueba z de dos proporciones a sus cifras de visitantes y conversiones, y le muestra ambas tasas de conversión, la mejora relativa, un valor p bilateral y un intervalo del 95% para la diferencia. Está pensada para equipos de marketing y de producto que revisan una prueba terminada con dos versiones.

  1. 01

    Ingrese la versión A

    Complete A: visitantes y A: conversiones con los totales de su grupo de control. Use números enteros de todo el período de prueba que planificó.

  2. 02

    Ingrese la versión B

    Complete B: visitantes y B: conversiones de la misma forma. Cada grupo necesita al menos 10 conversiones y 10 no conversiones; de lo contrario, la herramienta pedirá más datos.

  3. 03

    Calcule e interprete el resultado

    Presione Calcular para ver ambas tasas, la mejora, el valor p y el intervalo del 95% en puntos porcentuales. Una nota indica si p es menor que 0.05, y Copiar guarda todo.

Cómo funciona la prueba de significancia

La calculadora usa una prueba z de dos proporciones con varianza combinada, la forma estándar de comparar dos tasas de conversión. 1. Calcula cada tasa de conversión: conversiones ÷ visitantes. 2. Combina ambos grupos para estimar el error estándar de la diferencia. 3. Divide la diferencia entre ese error estándar para obtener z. 4. Convierte z en un valor p bilateral. En el ejemplo, 5% frente a 6.5% da z ≈ 4.56 y p ≈ 0.000005.

Cómo leer el valor p, la mejora y el intervalo del 95%

El valor p es la probabilidad de ver una diferencia al menos así de grande si A y B realmente convirtieran a la misma tasa; por debajo de 0.05 es el umbral habitual. La mejora relativa muestra cuánto mayor es la tasa de B que la de A. El intervalo del 95% ofrece un rango plausible para la diferencia absoluta en puntos porcentuales: si queda por completo por encima de cero, los datos apuntan a que B es mejor, y si cruza el cero, la prueba no ha resuelto la cuestión.

Errores que vuelven poco confiables las pruebas A/B

• Detener la prueba en cuanto p baja de 0.05; defina de antemano el tamaño de la muestra o la duración. • Ejecutarla por muy poco tiempo, sin cubrir el comportamiento de los días hábiles y del fin de semana. • Cambiar la división del tráfico, la segmentación o la página durante la prueba. • Probar muchas variantes o métricas y reportar solo la ganadora. • Ignorar el tamaño práctico: una mejora significativa de 0.1 puntos puede no valer la pena.

Qué hace y qué no hace esta calculadora

Compara dos grupos independientes en una métrica de conversión de sí o no, con un nivel de significancia fijo de 0.05 y un intervalo del 95%. No estima el tamaño de la muestra, no maneja más de dos variantes, no prueba promedios como el valor del pedido ni hace análisis bayesiano. Los datos deben ser números enteros con al menos 10 conversiones y 10 no conversiones por grupo, porque por debajo de eso la aproximación normal deja de ser confiable.

Calculadora de significancia de pruebas A/B: preguntas frecuentes

¿Qué es la significancia estadística en una prueba A/B?

Significa que la diferencia entre la versión A y la versión B es mayor de lo que se esperaría normalmente solo por azar. En la práctica, un resultado se considera significativo cuando el valor p es menor que 0.05. La significancia indica que la diferencia probablemente es real, no que sea lo bastante grande como para importar.

¿Cómo compruebo si mi prueba A/B es significativa?

1. Espere a que la prueba alcance el tamaño de muestra o la duración planificados. 2. Ingrese los visitantes y las conversiones de A y B. 3. Presione Calcular. 4. Si el valor p es menor que 0.05, la diferencia es significativa al nivel de 5%; revise también el intervalo del 95% y la mejora.

¿Qué significa un valor p de 0.05?

Si A y B tuvieran realmente la misma tasa de conversión, vería una diferencia al menos así de grande alrededor del 5% de las veces. No es la probabilidad de que B sea mejor, ni una probabilidad de 95% de que el resultado sea correcto. Cuanto menor es el valor p, más difícil resulta explicar los datos por azar.

¿Qué nivel de confianza usa esta calculadora?

Usa un umbral fijo de 0.05 para la prueba bilateral y un intervalo del 95% para la diferencia. Se muestra el valor p exacto, así que si su equipo usa un umbral más estricto, como 0.01, compare usted mismo el valor p con ese número.

¿Qué diferencia hay entre mejora relativa y diferencia absoluta?

La diferencia absoluta es la tasa de B menos la de A, en puntos porcentuales: 6.5% − 5% = 1.5 puntos. La mejora relativa divide esa cifra entre la tasa de A: 1.5 ÷ 5 = 30%. La mejora relativa suena más grande, así que informe ambas al compartir resultados.

¿Cuántos visitantes necesito para una prueba A/B?

Depende de su tasa base y de la menor mejora que le interese; las tasas más bajas y las mejoras más pequeñas requieren muchos más visitantes. Estímelo con una calculadora de tamaño de muestra antes de empezar la prueba. Esta herramienta revisa resultados terminados y necesita al menos 10 conversiones y 10 no conversiones por grupo.

¿Por qué la calculadora pide más datos?

La prueba se basa en una aproximación normal, que requiere conteos enteros y al menos 10 conversiones y 10 no conversiones en cada grupo. Además, las conversiones no pueden superar a los visitantes. Reúna más tráfico o revise si hay errores de escritura y vuelva a calcular.

¿Puedo usarla para comparar el CTR de dos anuncios?

Sí. Sirve cualquier resultado de sí o no: ingrese las impresiones como visitantes y los clics como conversiones para comparar el porcentaje de clics de dos creatividades. Mantenga los grupos independientes, con cada persona o impresión asignada a una sola versión.

¿Se suben a algún servidor los datos de mi prueba?

No. La prueba z se ejecuta en su navegador, y las cifras de visitantes y conversiones que ingresa no se envían a SocQ ni se guardan cuando sale de la página.

¿La calculadora de pruebas A/B es gratis?

Sí. Es gratis, sin registro ni cuenta. Puede revisar todas las pruebas terminadas que quiera y copiar cada resultado, incluida la ecuación.

Para desarrolladores

Agregue contexto social a los resultados de sus pruebas

Las API de SocQ devuelven publicaciones, perfiles y comentarios públicos de Instagram, TikTok, YouTube y LinkedIn, para que sus informes de campaña muestren cómo respondieron las audiencias a la creatividad que probó. Las cifras de tráfico y conversiones de la prueba siguen viniendo de su herramienta de pruebas o de analítica.

Ver todas las herramientas