Random Search
Hyperparameter-Tuning durch zufälliges Sampling aus dem Parameterraum – effizienter als Grid Search bei gleichem Rechenbudget.
Random Search wählt Hyperparameter zufällig statt systematisch – bei gleichem Budget fast immer besser als Grid Search, weil unwichtige Parameter weniger Budget verschwenden.
Erklärung
Random Search probiert zufällige Kombinationen und deckt so mehr des Suchraums ab, besonders bei Parametern mit unterschiedlicher Wichtigkeit.
Relevanz für Marketing
Random Search ist der empfohlene Einstieg für Hyperparameter-Tuning: einfach, parallelisierbar und überraschend effektiv.
Häufige Fallstricke
Keine Garantie, das Optimum zu finden. Bei sehr kleinem Budget kann Bayessche Optimierung besser sein. Reproduzierbarkeit erfordert Seed-Management.
Entstehung & Geschichte
Bergstra & Bengio (2012) bewiesen mathematisch und empirisch, dass Random Search Grid Search überlegen ist. Das Paper "Random Search for Hyper-Parameter Optimization" wurde zu einem der einflussreichsten ML-Papers.
Abgrenzung & Vergleiche
Random Search vs. Grid Search
Grid Search verschwendet Budget auf unwichtige Parameter-Dimensionen; Random Search verteilt Budget gleichmäßig über den gesamten Suchraum.
Random Search vs. Bayesian Optimization
Random Search ist uninformiert; Bayessche Optimierung lernt aus vergangenen Runs – besser bei kleinem Budget, aber komplexer.