Welcher statistische Ansatz eignet sich für die Durchführung eines A/B-Tests?
Grundsätzlich kommen alle Zwei-Stichproben-Hypothesentests in Frage. Welcher am besten geeignet ist, hängt dabei vom konkreten Anwendungsfall ab. Die meisten Tools integrieren statistische Tests auf unterschiedlicher Grundlage und bewerten sie so automatisiert auf eine Weise, die auch Laien verstehen können.
Einer der Tests, die am häufigsten zum Einsatz kommen, ist der Chi-Quadrat-Test. Hiermit kannst du prüfen, ob die Änderung zu statistisch signifikant besseren Ergebnissen führt. In der Regel nutzen Wissenschaftler ein Signifikanzniveau von 5 %. Dadurch verhinderst du, dass du Hypothesen als wahr ansiehst, obwohl die Änderung vermutlich keinen wirklichen Einfluss auf deinen Erfolg hat.
Eine weitere Möglichkeit ist der Bayessche Test, der allerdings deduktiv ist und dementsprechend das Ergebnis mit Wahrscheinlichkeiten hochrechnet. Ein Vorteil ist, dass er es ermöglicht, schlechte Varianten schnell auszusortieren. Fehlschlüsse werden dadurch jedoch wahrscheinlicher.