Kostenloser A/B-Test-Signifikanz-Rechner
Prüfen Sie, ob Version B Version A wirklich geschlagen hat, mit p-Wert, Uplift und 95%-Intervall.
Editor wird geladen …
A/B-Test-Signifikanz-Rechner: so funktioniert es
Wenn eine neue Überschrift oder Landingpage besser konvertiert, ist schwer zu erkennen, ob es eine echte Verbesserung oder nur Zufall ist. Dieser Rechner führt mit Ihren Besucher- und Conversion-Zahlen einen Zwei-Stichproben-z-Test für Anteile durch und zeigt beide Conversion-Raten, den relativen Uplift, einen zweiseitigen p-Wert und ein 95%-Intervall für die Differenz an. Er ist für Marketer und Produktteams gedacht, die einen abgeschlossenen Test mit zwei Versionen auswerten.
- 01
Version A eingeben
Tragen Sie bei „A: Besucher“ und „A: Conversions“ die Summen Ihrer Kontrollversion ein. Verwenden Sie ganze Zahlen aus dem vollständigen, geplanten Testzeitraum.
- 02
Version B eingeben
Tragen Sie „B: Besucher“ und „B: Conversions“ auf die gleiche Weise ein. Jede Gruppe braucht mindestens 10 Conversions und 10 Nicht-Conversions, sonst verlangt das Tool mehr Daten.
- 03
Berechnen und Ergebnis lesen
Klicken Sie auf „Berechnen“, um beide Raten, den Uplift, den p-Wert und das 95%-Intervall in Prozentpunkten zu sehen. Ein Hinweis zeigt, ob p unter 0,05 liegt, und mit „Kopieren“ speichern Sie alles.
So funktioniert der Signifikanztest
Der Rechner verwendet einen z-Test für zwei Anteile mit gepoolter Varianz, das Standardverfahren zum Vergleich zweier Conversion-Raten. 1. Er berechnet jede Conversion-Rate: Conversions ÷ Besucher. 2. Er fasst beide Gruppen zusammen, um den Standardfehler der Differenz zu schätzen. 3. Er teilt die Differenz durch diesen Standardfehler und erhält z. 4. Er rechnet z in einen zweiseitigen p-Wert um. Im Beispiel ergibt 5% vs. 6,5% z ≈ 4,56 und p ≈ 0,000005.
So lesen Sie p-Wert, Uplift und 95%-Intervall
Der p-Wert ist die Wahrscheinlichkeit, einen mindestens so großen Abstand zu sehen, wenn A und B tatsächlich gleich oft konvertieren würden. Unter 0,05 ist die übliche Grenze. Der relative Uplift zeigt, um wie viel höher die Rate von B als die von A ist. Das 95%-Intervall gibt einen plausiblen Bereich für die absolute Differenz in Prozentpunkten an: Liegt es komplett über null, spricht die Datenlage dafür, dass B besser ist; schließt es null ein, hat der Test die Frage nicht entschieden.
Fehler, die A/B-Tests unzuverlässig machen
• Den Test abbrechen, sobald p unter 0,05 fällt; legen Sie Stichprobengröße oder Dauer vorab fest. • Zu kurz testen, um das Verhalten unter der Woche und am Wochenende abzudecken. • Aufteilung des Traffics, Targeting oder Seite während des Tests ändern. • Viele Varianten oder Kennzahlen testen und nur den Gewinner melden. • Die praktische Größe ignorieren: Ein signifikanter Zuwachs von 0,1 Punkten lohnt sich womöglich nicht für die Umsetzung.
Was dieser Rechner kann und was nicht
Er vergleicht zwei unabhängige Gruppen anhand einer Ja-oder-Nein-Conversion-Kennzahl, mit festem Signifikanzniveau von 0,05 und einem 95%-Intervall. Er schätzt keine Stichprobengröße, verarbeitet nicht mehr als zwei Varianten, testet keine Mittelwerte wie den Bestellwert und führt keine Bayes-Analyse durch. Die Eingaben müssen ganze Zahlen mit mindestens 10 Conversions und 10 Nicht-Conversions pro Gruppe sein, da die Normalapproximation darunter unzuverlässig wird.
A/B-Test-Signifikanz-Rechner: häufig gestellte Fragen
Was bedeutet statistische Signifikanz bei einem A/B-Test?
Sie bedeutet, dass der Unterschied zwischen Version A und Version B größer ist, als man allein durch Zufall üblicherweise erwarten würde. In der Praxis gilt ein Ergebnis als signifikant, wenn der p-Wert unter 0,05 liegt. Signifikanz sagt, dass der Abstand wahrscheinlich echt ist, nicht dass er groß genug ist, um relevant zu sein.
Wie prüfe ich, ob mein A/B-Test signifikant ist?
1. Warten Sie, bis der Test die geplante Stichprobengröße oder Dauer erreicht hat. 2. Geben Sie Besucher und Conversions für A und B ein. 3. Klicken Sie auf „Berechnen“. 4. Liegt der p-Wert unter 0,05, ist der Unterschied auf dem 5%-Niveau signifikant; prüfen Sie außerdem das 95%-Intervall und den Uplift.
Was bedeutet ein p-Wert von 0,05?
Hätten A und B tatsächlich dieselbe Conversion-Rate, würden Sie einen mindestens so großen Unterschied in etwa 5% der Fälle sehen. Es ist nicht die Wahrscheinlichkeit, dass B besser ist, und auch keine 95%ige Chance, dass das Ergebnis stimmt. Kleinere p-Werte bedeuten, dass sich die Daten schwerer durch Zufall erklären lassen.
Welches Konfidenzniveau verwendet dieser Rechner?
Er verwendet für den zweiseitigen Test eine feste Schwelle von 0,05 und für die Differenz ein 95%-Intervall. Der genaue p-Wert wird angezeigt. Wenn Ihr Team eine strengere Grenze wie 0,01 nutzt, vergleichen Sie den p-Wert selbst mit dieser Zahl.
Was ist der Unterschied zwischen relativem Uplift und absoluter Differenz?
Die absolute Differenz ist die Rate von B minus die von A, in Prozentpunkten: 6,5% − 5% = 1,5 Punkte. Der relative Uplift teilt das durch die Rate von A: 1,5 ÷ 5 = 30%. Der relative Uplift klingt größer, nennen Sie daher beim Teilen der Ergebnisse beide Werte.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von Ihrer Ausgangsrate und dem kleinsten Uplift ab, der für Sie relevant ist; niedrigere Raten und kleinere Uplifts brauchen deutlich mehr Besucher. Schätzen Sie das vor dem Teststart mit einem Rechner für die Stichprobengröße. Dieses Tool prüft abgeschlossene Ergebnisse und braucht pro Gruppe mindestens 10 Conversions und 10 Nicht-Conversions.
Warum verlangt der Rechner mehr Daten?
Der Test beruht auf einer Normalapproximation, die ganzzahlige Werte und in jeder Gruppe mindestens 10 Conversions und 10 Nicht-Conversions braucht. Außerdem dürfen Conversions die Besucherzahl nicht übersteigen. Sammeln Sie mehr Traffic oder suchen Sie nach Tippfehlern und berechnen Sie dann erneut.
Kann ich damit die CTR zweier Anzeigen vergleichen?
Ja. Jedes Ja-oder-Nein-Ergebnis funktioniert: Geben Sie Impressionen als Besucher und Klicks als Conversions ein, um die Klickraten zweier Werbemittel zu vergleichen. Halten Sie die Gruppen unabhängig, sodass jede Person oder Impression nur einer Version zugeordnet ist.
Werden meine Testdaten hochgeladen?
Nein. Der z-Test läuft in Ihrem Browser. Die eingegebenen Besucher- und Conversion-Zahlen werden nicht an SocQ gesendet und nicht gespeichert, sobald Sie die Seite verlassen.
Ist der A/B-Test-Rechner kostenlos?
Ja. Er ist kostenlos, ohne Registrierung und ohne Konto. Sie können beliebig viele abgeschlossene Tests prüfen und jedes Ergebnis kopieren, einschließlich der Berechnung.
Für Entwickler
Ergänzen Sie Ihre Testergebnisse um Social-Media-Kontext
Die SocQ-APIs liefern öffentliche Beiträge, Profile und Kommentare von Instagram, TikTok, YouTube und LinkedIn, damit Ihre Kampagnenberichte zeigen können, wie das Publikum auf das getestete Werbemittel reagiert hat. Testtraffic und Conversion-Zahlen stammen weiterhin aus Ihrem Test- oder Analyse-Tool.
Weitere kostenlose Tools
Alle Tools anzeigen- GRATISInstagram
Instagram-Schriftarten-Generator kostenlos
Vergleichen Sie acht Textstile zum Kopieren und Einfügen für einen Instagram-Namen, eine Bio-Zeile oder eine Bildunterschrift.
- GRATISLinkedIn
LinkedIn-Text formatieren kostenlos
Heben Sie Schlüsselwendungen hervor und gliedern Sie LinkedIn-Beiträge mit Fett, Kursiv und Aufzählungen.
- GRATISInstagram
Instagram-Zeilenumbruch-Generator kostenlos
Bereiten Sie Absätze und Leerzeilen für Ihre Instagram-Bildunterschrift vor und kopieren Sie den kompletten Text.
- GRATISX / Twitter
Twitter-Zeichenzähler (X) kostenlos
Prüfen Sie die Länge von X-Posts mit gewichteten Link- und Emoji-Zählungen und einer Live-Anzeige des verbleibenden Platzes.



