PTI01850 – Statistische Lerntheorie
Modul
Statistische Lerntheorie
Statistical Learning Theory |
Modulnummer
PTI01850
Version: 2 |
Fakultät
Physikalische Technik / Informatik
|
Niveau
Bachelor
|
Dauer
1 Semester
|
Turnus
Sommersemester
|
Modulverantwortliche/-r
Prof. Dr. Mike Espig |
Dozent/-in(nen)
Prof. Dr. Mike Espig |
Lehrsprache(n)
Deutsch - 80.00% Englisch - 20.00% |
ECTS-Credits
5.00 Credits |
Workload
150 Stunden |
Lehrveranstaltungen
4.00 SWS (4.00 SWS Vorlesung mit integr. Übung / seminaristische Vorlesung) |
Selbststudienzeit
90.00 Stunden |
Prüfungsvorleistung(en)
|
Prüfungsleistung(en)
schriftliche Prüfungsleistung |
Medienform
Keine Angabe
|
Lehrinhalte/Gliederung
Die Lerntheorie befasst sich mit der Extraktion von Gesetzmäßigkeiten aus Beobachtungen. Das Grundproblem hierbei ist die "Generalisierung:" die extrahierten Gesetzmäßigkeiten sollen nicht nur die bereits vorliegenden Beobachtungen (die "Trainingsmenge") korrekt erklären, sondern auch für neue Beobachtungen zutreffend sein. Dieses Problem der Induktion berührt Grundsatzfragen nicht nur der Statistik, sondern der empirischen Wissenschaften im Allgemeinen. Dazu gehören die Repräsentation von Daten und von Vorwissen, sowie die Komplexität oder Kapazität von Erklärungen bzw. Modellen. Die anschauliche Bedeutung dieser Theorie lässt sich wie folgt fassen: Schafft man es, die Trainingsdaten mit einem einfachen Modell (d.h. einer Funktionsklasse, deren VC-Dimension im Vergleich zur Anzahl der Trainingsbeispiele niedrig ist) zu erklären (d.h. das empirische Risiko gering zu halten), so besteht Grund zu der Annahme, dass der wirkliche funktionale Zusammenhang gefunden wurde. Kann man die Daten nur mit einer Lernmaschine (bzw. Funktionsklasse) von vergleichsweise hoher VC-Dimension erklären, so ist dies nicht der Fall: Die Maschine kann ihre Kapazität (VC-Dimension) dazu verwendet haben, die Beispiele einzeln zu memorisieren (Overfitting), anstatt eine kompaktere zugrunde liegende Regularität zu lernen — dementsprechend ist nicht zu erwarten, dass neue Beispiele zuverlässig klassifiziert werden können. Das Prinzip der strukturellen Risikominimierung verwendet probabilistische Schranken, um das erwartete Risiko durch Kontrolle von empirischem Risiko und VC-Dimension zu minimieren, d.h. um eine Funktion zu finden, die möglichst gut auf neue Beispiele generalisiert. Strukturelle Risikominimierung passt also in diesem Sinne die Komplexität der Lernmaschine dem zu lösenden Problem an, und stellt somit eine Basis für moderne Lernalgorithmen dar. Insbesondere werden folgende Themen einstudiert:
|
Qualifikationsziele
Die Studierenden verstehen die grundsätzlichen Aussagen der von Vapnik und Chervonenkis entwickelte Lerntheorie zum Induktionsprinzip. Sie können die theoretischen Erkenntnisse praxisgerecht beim Überwachten Lernen anwenden sowie die entwickelten Strategien beim Overfitting entsprechend einordnen. Ferner kennen sie a priori die quantitativen Grenzen des Überwachten Lernen bei konkreten Problemstellungen. |
Besondere Zulassungsvoraussetzung
keine |
Empfohlene Voraussetzungen
|
Fortsetzungsmöglichkeiten
PTI186, PTI187 |
Literatur
|
Hinweise
Keine Angabe
|
Zuordnung zum Curriculum
|