PTI01850 – Statistical Learning Theory

Module
Statistical Learning Theory
Statistische Lerntheorie
Module number
PTI01850
Version: 2
Faculty
Physikalische Technik / Informatik
Level
Bachelor
Duration
1 Semester
Semester
Summer semester
Module supervisor

Prof. Dr. Mike Espig
mike.espig(at)fh-zwickau.de

Lecturer(s)

Prof. Dr. Mike Espig
mike.espig(at)fh-zwickau.de

Course language(s)

German - 80.00%
in "Statistische Lerntheorie"

English - 20.00%
in "Statistische Lerntheorie"

ECTS credits

5.00 credits

Workload

150 hours

Courses

4.00 SCH (4.00 SCH Lecture with integrated exercise / seminar-lecture)

Self-study time

90.00 hours
90.00 hours Self-study - Statistische Lerntheorie

Pre-examination(s)


in "Statistische Lerntheorie"

Examination(s)

schriftliche Prüfungsleistung -
Module examination | Examination time: 60 min | Weighting: 100%
in "Statistische Lerntheorie"

Media type
No information
Instruction content/structure

Die Lerntheorie befasst sich mit der Extraktion von Gesetzmäßigkeiten aus Beobachtungen. Das Grundproblem hierbei ist die "Generalisierung:" die extrahierten Gesetzmäßigkeiten sollen nicht nur die bereits vorliegenden Beobachtungen (die "Trainingsmenge") korrekt erklären, sondern auch für neue Beobachtungen zutreffend sein. Dieses Problem der Induktion berührt Grundsatzfragen nicht nur der Statistik, sondern der empirischen Wissenschaften im Allgemeinen. Dazu gehören die Repräsentation von Daten und von Vorwissen, sowie die Komplexität oder Kapazität von Erklärungen bzw. Modellen.

Die anschauliche Bedeutung dieser Theorie lässt sich wie folgt fassen: Schafft man es, die Trainingsdaten mit einem einfachen Modell (d.h. einer Funktionsklasse, deren VC-Dimension im Vergleich zur Anzahl der Trainingsbeispiele niedrig ist) zu erklären (d.h. das empirische Risiko gering zu halten), so besteht Grund zu der Annahme, dass der wirkliche funktionale Zusammenhang gefunden wurde. Kann man die Daten nur mit einer Lernmaschine (bzw. Funktionsklasse) von vergleichsweise hoher VC-Dimension erklären, so ist dies nicht der Fall: Die Maschine kann ihre Kapazität (VC-Dimension) dazu verwendet haben, die Beispiele einzeln zu memorisieren (Overfitting), anstatt eine kompaktere zugrunde liegende Regularität zu lernen — dementsprechend ist nicht zu erwarten, dass neue Beispiele zuverlässig klassifiziert werden können. Das Prinzip der strukturellen Risikominimierung verwendet probabilistische Schranken, um das erwartete Risiko durch Kontrolle von empirischem Risiko und VC-Dimension zu minimieren, d.h. um eine Funktion zu finden, die möglichst gut auf neue Beispiele generalisiert. Strukturelle Risikominimierung passt also in diesem Sinne die Komplexität der Lernmaschine dem zu lösenden Problem an, und stellt somit eine Basis für moderne Lernalgorithmen dar.

Insbesondere werden folgende Themen einstudiert:

  • Theoretischer Rahmen der Statistischen Lerntheorie
  • Prinzip der empirischen Risikominimierung 
  • Generalisierungsfähigkeit
  • Hoeffding-Ungleichung
  • VC-Dimension
  • Memorisierung (Overfitting)
  • Erwartetes Risiko
Qualification objectives

Die Studierenden verstehen die grundsätzlichen Aussagen der von Vapnik und Chervonenkis entwickelte Lerntheorie zum Induktionsprinzip. Sie können die theoretischen Erkenntnisse praxisgerecht beim Überwachten Lernen anwenden sowie die entwickelten Strategien beim Overfitting entsprechend einordnen. Ferner kennen sie a priori die quantitativen Grenzen des Überwachten Lernen bei konkreten Problemstellungen.

Social and personal skills
No information
Special admission requirements

keine

Recommended prerequisites
  • PTI182
  • PTI183
  • PTI171 - Mathematische Grundlagen I
  • PTI172 - Mathematische Grundlagen II
Continuation options

PTI186, PTI187

Literature
  • Vorlesungsskript
  • Mohri, Rostamizadeh, Talwalkar: Foundations of Machine Learning, MIT Press
  • Shalev-Shwartz, Ben-David: Understanding Machine Learning From Theory to Algorithms,  Cambridge University Press
  • Bishop: Pattern Recognition and Machine Learning, Springer 
  • Vapnik: Statistical Learning Theory, Springer
  • Vapnik: The Nature of Statistical Learning Theory, Springer
  • Györfi, Kohler, Krzyzak, Walk: A Distribution-Free Theory of Nonparametric Regression, Springer
  • Cucker, Zhou: Learning Theory An Approximation Theory Viewpoint, Cambridge Monographs
  • Barber: Bayesian Reasoning and Machine Learning, Cambridge University Press
  • Murphy: Machine Learning A Probabilistic Perspective, MIT Press
Notes
No information