Selbstüberwachtes Lernen

Selbstüberwachtes Lernen ist ein Teilgebiet des maschinellen Lernens, das eine Zwischenform von überwachtem und unüberwachtem Lernen darstellt. Es handelt sich um eine Art autonomes Lernen mit Hilfe künstlicher neuronaler Netze, bei dem keine durch Menschen im Voraus klassifizierten Beispieldaten benötigt werden. Zunächst wird das Netzwerk mit einer Voraufgabe (pretext task) konfrontiert, die vergleichsweise einfach zu lösen und auszuwerten sind, aber ein hohes Maß an semantischem Verständnis der Daten erfordert, welches wiederum für die Lösung einer anderen, nachgelagerten Aufgabe (downstream task) nützlich ist. Während der erste Schritt meist auf durch Transformationen der Ursprungsdaten generierten Pseudo-Labeln basiert, kann die eigentliche Klassifikation mit überwachtem oder unüberwachtem Lernen durchgeführt werden. Die Idee hinter der Voraufgabe ist, dass das Lösen dieser vergleichsweise einfachen Fragestellung die Gewichte des neuronalen Netzes so initialisiert, dass das Modell auch für andere Anwendungen nützlich sein kann. Selbstüberwachtes Lernen hat in den letzten Jahren vielversprechende Ergebnisse hervorgebracht und bereits praktische Anwendung in der Bild-, Video- und Audioverarbeitung gefunden und wird unter anderem von Facebook zur automatischen Spracherkennung genutzt.