Power-Analyse
Berechnung der notwendigen Stichprobengröße, um einen Effekt bestimmter Größe mit gewünschter Wahrscheinlichkeit (Power) zu entdecken.
Power-Analyse berechnet die Stichprobengröße VOR dem Test – ohne sie sind A/B Tests entweder zu klein (Effekt übersehen) oder zu lang (Traffic verschwendet).
Erklärung
Power = P(Effekt entdecken | Effekt existiert). Standard: 80% Power. Vier verbundene Variablen: Stichprobengröße, Effektgröße, Signifikanzniveau (α), Power (1-β). Fixiere drei, berechne die vierte.
Relevanz für Marketing
Ohne Power-Analyse verschwendet man Traffic auf zu kleine Tests (underpowered) oder zu lange Tests (überdimensioniert). Kritisch für A/B Test-Planung.
Häufige Fallstricke
MDE zu optimistisch setzen ("2% Lift reicht"). Power für Subgruppen vergessen. Multiple Testing nicht berücksichtigen.
Entstehung & Geschichte
Neyman & Pearson legten die Grundlagen in den 1930ern. Cohen (1969) machte Power-Analyse praktisch. Heute bieten Tools wie Evan Miller's Calculator und statsmodels automatische Berechnung.
Abgrenzung & Vergleiche
Power-Analyse vs. Bayesian Sample Size
Frequentistische Power-Analyse plant für α und β; Bayesianische Methoden planen für erwartete Posterior-Präzision.
Power-Analyse vs. Sequential Testing
Power-Analyse plant fixe Stichprobengröße; Sequential Testing erlaubt frühere Stopps mit statistischer Kontrolle.