PTI01850 – Statistische Lerntheorie

Modul
Statistische Lerntheorie
Statistical Learning Theory
Modulnummer
PTI01850
Version: 2
Fakultät
Physikalische Technik / Informatik
Niveau
Bachelor
Dauer
1 Semester
Turnus
Sommersemester
Modulverantwortliche/-r

Prof. Dr. Mike Espig
mike.espig(at)fh-zwickau.de

Dozent/-in(nen)

Prof. Dr. Mike Espig
mike.espig(at)fh-zwickau.de

Lehrsprache(n)

Deutsch - 80.00%
in "Statistische Lerntheorie"

Englisch - 20.00%
in "Statistische Lerntheorie"

ECTS-Credits

5.00 Credits

Workload

150 Stunden

Lehrveranstaltungen

4.00 SWS (4.00 SWS Vorlesung mit integr. Übung / seminaristische Vorlesung)

Selbststudienzeit

90.00 Stunden
90.00 Stunden Selbststudium - Statistische Lerntheorie

Prüfungsvorleistung(en)


in "Statistische Lerntheorie"

Prüfungsleistung(en)

schriftliche Prüfungsleistung
Modulprüfung | Prüfungsdauer: 60 min | Wichtung: 100%
in "Statistische Lerntheorie"

Medienform
Keine Angabe
Lehrinhalte/Gliederung

Die Lerntheorie befasst sich mit der Extraktion von Gesetzmäßigkeiten aus Beobachtungen. Das Grundproblem hierbei ist die "Generalisierung:" die extrahierten Gesetzmäßigkeiten sollen nicht nur die bereits vorliegenden Beobachtungen (die "Trainingsmenge") korrekt erklären, sondern auch für neue Beobachtungen zutreffend sein. Dieses Problem der Induktion berührt Grundsatzfragen nicht nur der Statistik, sondern der empirischen Wissenschaften im Allgemeinen. Dazu gehören die Repräsentation von Daten und von Vorwissen, sowie die Komplexität oder Kapazität von Erklärungen bzw. Modellen.

Die anschauliche Bedeutung dieser Theorie lässt sich wie folgt fassen: Schafft man es, die Trainingsdaten mit einem einfachen Modell (d.h. einer Funktionsklasse, deren VC-Dimension im Vergleich zur Anzahl der Trainingsbeispiele niedrig ist) zu erklären (d.h. das empirische Risiko gering zu halten), so besteht Grund zu der Annahme, dass der wirkliche funktionale Zusammenhang gefunden wurde. Kann man die Daten nur mit einer Lernmaschine (bzw. Funktionsklasse) von vergleichsweise hoher VC-Dimension erklären, so ist dies nicht der Fall: Die Maschine kann ihre Kapazität (VC-Dimension) dazu verwendet haben, die Beispiele einzeln zu memorisieren (Overfitting), anstatt eine kompaktere zugrunde liegende Regularität zu lernen — dementsprechend ist nicht zu erwarten, dass neue Beispiele zuverlässig klassifiziert werden können. Das Prinzip der strukturellen Risikominimierung verwendet probabilistische Schranken, um das erwartete Risiko durch Kontrolle von empirischem Risiko und VC-Dimension zu minimieren, d.h. um eine Funktion zu finden, die möglichst gut auf neue Beispiele generalisiert. Strukturelle Risikominimierung passt also in diesem Sinne die Komplexität der Lernmaschine dem zu lösenden Problem an, und stellt somit eine Basis für moderne Lernalgorithmen dar.

Insbesondere werden folgende Themen einstudiert:

  • Theoretischer Rahmen der Statistischen Lerntheorie
  • Prinzip der empirischen Risikominimierung 
  • Generalisierungsfähigkeit
  • Hoeffding-Ungleichung
  • VC-Dimension
  • Memorisierung (Overfitting)
  • Erwartetes Risiko
Qualifikationsziele

Die Studierenden verstehen die grundsätzlichen Aussagen der von Vapnik und Chervonenkis entwickelte Lerntheorie zum Induktionsprinzip. Sie können die theoretischen Erkenntnisse praxisgerecht beim Überwachten Lernen anwenden sowie die entwickelten Strategien beim Overfitting entsprechend einordnen. Ferner kennen sie a priori die quantitativen Grenzen des Überwachten Lernen bei konkreten Problemstellungen.

Besondere Zulassungsvoraussetzung

keine

Empfohlene Voraussetzungen
  • PTI182
  • PTI183
  • PTI171 - Mathematische Grundlagen I
  • PTI172 - Mathematische Grundlagen II
Fortsetzungsmöglichkeiten

PTI186, PTI187

Literatur
  • Vorlesungsskript
  • Mohri, Rostamizadeh, Talwalkar: Foundations of Machine Learning, MIT Press
  • Shalev-Shwartz, Ben-David: Understanding Machine Learning From Theory to Algorithms,  Cambridge University Press
  • Bishop: Pattern Recognition and Machine Learning, Springer 
  • Vapnik: Statistical Learning Theory, Springer
  • Vapnik: The Nature of Statistical Learning Theory, Springer
  • Györfi, Kohler, Krzyzak, Walk: A Distribution-Free Theory of Nonparametric Regression, Springer
  • Cucker, Zhou: Learning Theory An Approximation Theory Viewpoint, Cambridge Monographs
  • Barber: Bayesian Reasoning and Machine Learning, Cambridge University Press
  • Murphy: Machine Learning A Probabilistic Perspective, MIT Press
Hinweise
Keine Angabe