Die Lerntheorie befasst sich mit der Extraktion von Gesetzmäßigkeiten aus Beobachtungen. Das Grundproblem hierbei ist die "Generalisierung:" die extrahierten Gesetzmäßigkeiten sollen nicht nur die bereits vorliegenden Beobachtungen (die "Trainingsmenge") korrekt erklären, sondern auch für neue Beobachtungen zutreffend sein. Dieses Problem der Induktion berührt Grundsatzfragen nicht nur der Statistik, sondern der empirischen Wissenschaften im Allgemeinen. Dazu gehören die Repräsentation von Daten und von Vorwissen, sowie die Komplexität oder Kapazität von Erklärungen bzw. Modellen.

Die anschauliche Bedeutung dieser Theorie lässt sich wie folgt fassen: Schafft man es, die Trainingsdaten mit einem einfachen Modell (d.h. einer Funktionsklasse, deren VC-Dimension im Vergleich zur Anzahl der Trainingsbeispiele niedrig ist) zu erklären (d.h. das empirische Risiko gering zu halten), so besteht Grund zu der Annahme, dass der wirkliche funktionale Zusammenhang gefunden wurde. Kann man die Daten nur mit einer Lernmaschine (bzw. Funktionsklasse) von vergleichsweise hoher VC-Dimension erklären, so ist dies nicht der Fall: Die Maschine kann ihre Kapazität (VC-Dimension) dazu verwendet haben, die Beispiele einzeln zu memorisieren (Overfitting), anstatt eine kompaktere zugrunde liegende Regularität zu lernen — dementsprechend ist nicht zu erwarten, dass neue Beispiele zuverlässig klassifiziert werden können. Das Prinzip der strukturellen Risikominimierung verwendet probabilistische Schranken, um das erwartete Risiko durch Kontrolle von empirischem Risiko und VC-Dimension zu minimieren, d.h. um eine Funktion zu finden, die möglichst gut auf neue Beispiele generalisiert. Strukturelle Risikominimierung passt also in diesem Sinne die Komplexität der Lernmaschine dem zu lösenden Problem an, und stellt somit eine Basis für moderne Lernalgorithmen dar.

Insbesondere werden folgende Themen einstudiert:

• Theoretischer Rahmen der Statistischen Lerntheorie
• Prinzip der empirischen Risikominimierung 
• Generalisierungsfähigkeit
• Hoeffding-Ungleichung
• VC-Dimension
• Memorisierung (Overfitting)
• Erwartetes Risiko