Ensemble learning

Ensemblemethoden werden in der Statistik und für Machine Learning eingesetzt. Sie nutzen eine endliche Menge von verschiedenen Lernalgorithmen, um bessere Ergebnisse zu erhalten als mit einem einzelnen Lernalgorithmus. Die Berechnung der Ergebnisse dieser Menge von Algorithmen dauert zwar länger als die Auswertung eines einzelnen Algorithmus, allerdings kann bereits mit einer viel geringeren Rechentiefe ein in etwa gleich gutes Ergebnis erreicht werden. Ein wichtiges Einsatzgebiet von Ensemble Learning sind Entscheidungsbäume. Ein großer Entscheidungsbaum neigt zu hohen Fehlerraten und einer hohen Varianz, da von der Wurzel zu den Blättern viele Entscheidungsknoten liegen, die alle unter Unsicherheit durchlaufen werden. Bagging würde hier etwa viele kleine Entscheidungsbäume berechnen, und den Durchschnitt ihrer Ergebnisse verwenden, wodurch die Varianz (und damit auch die Fehlerrate) deutlich sinkt.