Calculateur de significativité d’un test A/B gratuit
Vérifiez si la version B a vraiment battu la version A, avec valeur p, gain et intervalle à 95%.
Chargement de l’éditeur…
Calculateur de significativité d’un test A/B : mode d’emploi
Quand un nouveau titre ou une nouvelle page d’atterrissage convertit mieux, il est difficile de distinguer une vraie amélioration d’un simple hasard. Ce calculateur applique un test z de comparaison de deux proportions à vos nombres de visiteurs et de conversions, puis indique les deux taux de conversion, le gain relatif, la valeur p bilatérale et un intervalle à 95% pour la différence. Il s’adresse aux équipes marketing et produit qui analysent un test terminé portant sur deux versions.
- 01
Saisir la version A
Renseignez « A : visiteurs » et « A : conversions » avec les totaux de votre version de référence. Utilisez des nombres entiers, sur toute la période de test prévue.
- 02
Saisir la version B
Renseignez « B : visiteurs » et « B : conversions » de la même façon. Chaque groupe doit compter au moins 10 conversions et 10 non-conversions, sinon l’outil demande davantage de données.
- 03
Calculer et lire le résultat
Cliquez sur « Calculer » pour afficher les deux taux, le gain, la valeur p et l’intervalle à 95% en points de pourcentage. Une note indique si p est inférieure à 0,05, et « Copier » enregistre le tout.
Comment fonctionne le test de significativité
Le calculateur utilise un test z de deux proportions avec variance poolée, la méthode standard pour comparer deux taux de conversion. 1. Il calcule chaque taux de conversion : conversions ÷ visiteurs. 2. Il regroupe les deux groupes pour estimer l’erreur standard de la différence. 3. Il divise la différence par cette erreur standard pour obtenir z. 4. Il convertit z en valeur p bilatérale. Dans l’exemple, 5% contre 6,5% donne z ≈ 4,56 et p ≈ 0,000005.
Comment lire la valeur p, le gain et l’intervalle à 95%
La valeur p est la probabilité d’observer un écart au moins aussi grand si A et B convertissaient réellement au même taux ; sous 0,05, c’est le seuil le plus courant. Le gain relatif indique de combien le taux de B dépasse celui de A. L’intervalle à 95% donne une plage plausible pour la différence absolue en points de pourcentage : s’il est entièrement au-dessus de zéro, les données indiquent que B est meilleure, et s’il contient zéro, le test n’a pas tranché.
Les erreurs qui rendent un test A/B peu fiable
• Arrêter le test dès que p passe sous 0,05 : fixez la taille d’échantillon ou la durée à l’avance. • Le faire tourner trop peu de temps pour couvrir les comportements de semaine et de week-end. • Modifier la répartition du trafic, le ciblage ou la page pendant le test. • Tester de nombreuses variantes ou métriques et ne présenter que la gagnante. • Ignorer l’ampleur réelle : un gain significatif de 0,1 point ne vaut pas forcément la peine d’être déployé.
Ce que ce calculateur fait et ne fait pas
Il compare deux groupes indépendants sur une seule mesure de conversion de type oui ou non, avec un seuil de signification fixe de 0,05 et un intervalle à 95%. Il n’estime pas la taille d’échantillon, ne gère pas plus de deux variantes, ne teste pas des moyennes comme le panier moyen et n’effectue pas d’analyse bayésienne. Les valeurs saisies doivent être des nombres entiers, avec au moins 10 conversions et 10 non-conversions par groupe, car l’approximation normale devient peu fiable en dessous.
Calculateur de significativité d’un test A/B : questions fréquentes
Qu’est-ce que la significativité statistique dans un test A/B ?
Elle signifie que la différence entre la version A et la version B est plus grande que ce que le seul hasard produirait habituellement. En pratique, un résultat est dit significatif lorsque la valeur p est inférieure à 0,05. La significativité indique que l’écart est probablement réel, pas qu’il est assez grand pour avoir de l’importance.
Comment savoir si mon test A/B est significatif ?
1. Attendez que le test atteigne la taille d’échantillon ou la durée prévue. 2. Saisissez les visiteurs et les conversions de A et de B. 3. Cliquez sur « Calculer ». 4. Si la valeur p est inférieure à 0,05, la différence est significative au seuil de 5% ; vérifiez aussi l’intervalle à 95% et le gain.
Que signifie une valeur p de 0,05 ?
Si A et B avaient réellement le même taux de conversion, vous observeriez une différence au moins aussi grande environ 5% du temps. Ce n’est pas la probabilité que B soit meilleure, ni une chance sur 95% que le résultat soit juste. Plus la valeur p est petite, plus les données sont difficiles à expliquer par le hasard.
Quel niveau de confiance ce calculateur utilise-t-il ?
Il applique un seuil fixe de 0,05 pour le test bilatéral et un intervalle à 95% pour la différence. La valeur p exacte est affichée : si votre équipe utilise un seuil plus strict, comme 0,01, comparez vous-même la valeur p à ce nombre.
Quelle différence entre gain relatif et différence absolue ?
La différence absolue est le taux de B moins celui de A, en points de pourcentage : 6,5% − 5% = 1,5 point. Le gain relatif divise ce chiffre par le taux de A : 1,5 ÷ 5 = 30%. Le gain relatif paraît plus important, donc indiquez les deux quand vous partagez vos résultats.
Combien de visiteurs faut-il pour un test A/B ?
Cela dépend de votre taux de départ et du plus petit gain qui vous intéresse : plus les taux et les gains sont faibles, plus il faut de visiteurs. Estimez-le avec un calculateur de taille d’échantillon avant de lancer le test. Cet outil vérifie des résultats terminés et exige au moins 10 conversions et 10 non-conversions par groupe.
Pourquoi le calculateur demande-t-il plus de données ?
Le test repose sur une approximation normale, qui exige des nombres entiers et au moins 10 conversions et 10 non-conversions dans chaque groupe. Les conversions ne peuvent pas non plus dépasser les visiteurs. Collectez davantage de trafic ou vérifiez qu’il n’y a pas de faute de frappe, puis recalculez.
Puis-je l’utiliser pour comparer le CTR de deux publicités ?
Oui. Tout résultat de type oui ou non convient : saisissez les impressions comme visiteurs et les clics comme conversions pour comparer le taux de clics de deux visuels. Gardez des groupes indépendants, chaque personne ou impression n’étant attribuée qu’à une seule version.
Les données de mon test sont-elles envoyées sur un serveur ?
Non. Le test z s’exécute dans votre navigateur, et les nombres de visiteurs et de conversions que vous saisissez ne sont ni envoyés à SocQ ni conservés quand vous quittez la page.
Le calculateur de test A/B est-il gratuit ?
Oui. Il est gratuit, sans inscription ni compte. Vous pouvez vérifier autant de tests terminés que vous le souhaitez et copier chaque résultat, formule comprise.
Pour les développeurs
Ajoutez le contexte des réseaux sociaux à vos résultats de test
Les API de SocQ renvoient les publications, profils et commentaires publics d’Instagram, de TikTok, de YouTube et de LinkedIn : vos rapports de campagne peuvent ainsi montrer comment le public a réagi au visuel que vous avez testé. Le trafic et les conversions du test proviennent toujours de votre outil de test ou d’analyse.
Continuer avec d’autres outils gratuits
Voir tous les outils- GRATUITInstagram
Gratuit : Générateur de polices Instagram
Comparez huit styles de texte à copier-coller pour un nom, une ligne de bio ou une légende Instagram.
- GRATUITLinkedIn
Gratuit : Formateur de texte LinkedIn
Mettez en valeur les expressions clés et structurez vos publications LinkedIn avec du gras, de l’italique et des listes à puces.
- GRATUITInstagram
Gratuit : Générateur de sauts de ligne Instagram
Préparez les paragraphes et les lignes vides de vos légendes Instagram, puis copiez le texte complet.
- GRATUITX / Twitter
Gratuit : Compteur de caractères Twitter (X)
Vérifiez la longueur d’un post X avec le décompte pondéré des liens et des emoji et l’affichage en direct de l’espace restant.



