PTI01841 – Data Science IV, Bestärkendes Lernen

Modul
Data Science IV, Bestärkendes Lernen
Data Science IV, Reinforcement Learning
Modulnummer
PTI01841
Version: 1
Fakultät
Physikalische Technik / Informatik
Niveau
Bachelor
Dauer
1 Semester
Turnus
Sommersemester
Modulverantwortliche/-r

Prof. Dr. Jens Flemming
Jens.Flemming(at)fh-zwickau.de
Dozent/-in(nen)

Prof. Dr. Mike Espig
mike.espig(at)fh-zwickau.de
Dozent/-in in: "Data Science IV, Bestärkendes Lernen"

Prof. Dr. Jens Flemming
Jens.Flemming(at)fh-zwickau.de
Dozent/-in in: "Data Science IV, Bestärkendes Lernen"
Lehrsprache(n)

Deutsch - 80.00%
in "Data Science IV, Bestärkendes Lernen"

Englisch - 20.00%
in "Data Science IV, Bestärkendes Lernen"
ECTS-Credits

10.00 Credits

Workload

300 Stunden

Lehrveranstaltungen

8.00 SWS (3.00 SWS Praktikum | 5.00 SWS Vorlesung mit integr. Übung / seminaristische Vorlesung)
Selbststudienzeit

180.00 Stunden
180.00 Stunden Selbststudium - Data Science IV, Bestärkendes Lernen
Prüfungsvorleistung(en)

Softwareprojekt
in "Data Science IV, Bestärkendes Lernen"
Prüfungsleistung(en)

mündliche Prüfungsleistung
Modulprüfung | Prüfungsdauer: 30 min | Wichtung: 100%
in "Data Science IV, Bestärkendes Lernen"
Medienform
Keine Angabe
Lehrinhalte/Gliederung

Im Modul werden die Grundlagen des bestärkenden maschinellen Lernens (Reinforcement-Learning) erarbeitet und wichtige Teilgebiete vertieft.

Das bestärkende Lernen bildet neben überwachtem und unüberwachtem Lernen eine der drei Säulen des maschinellen Lernens. Es ist ein wesentlicher Baustein moderner künstlicher Intelligenz und kommt Prozessen der menschlichen Entscheidungsfindung deutlich näher als die anderen beiden Säulen.

Grundgedanke ist die Interpretation eines Computerprogramms als "Agent", der in einer Umwelt agiert und mit dieser interagiert. Diese Umwelt reagiert auf Aktionen des Agenten und liefert diesem Feedback, welches wiederum die weiteren Aktionen des Agenten beeinflusst. Basierend auf Lob und Tadel bzw. Versuch und Irrtum lernt der Agent, welche Aktionen in welcher Situation die geeigneten sind.

Im Modul werden folgende Themen behandelt und bevorzugt in Teamarbeit praktisch umgesetzt:

  • mehrarmige Banditen
  • Markow-Entscheidungsprozesse (MDPs), Bellman-Gleichung
  • dynamische Programmierung, insbesondere Policy-Iteration und Value-Iteration
  • Temporal-Difference-Learning, insbesondere Q-Learning
  • Policy-Gradient-Methods
Qualifikationsziele

Die Studierenden beherrschen die theoretischen Grundlagen und kennen wesentliche Modelle des bestärkenden Lernens. Sie sind in der Lage, Verfahren des bestärkenden Lernens praktisch einzusetzen sowie Möglichkeiten und Grenzen zu beurteilen.

Die Studierenden sind mit besonderen Anforderungen bei der Arbeit in Teams vertraut und können Aufgaben problemlösungs- und ergebnisorientiert im Team umsetzen.

Sie sind umfassend genug mit dem Themengebiet des bestärkenden Lernens vertraut um ihr Wissen auf Basis von eigenständigem Literaturstudium erweitern und vertiefen zu können.
Besondere Zulassungsvoraussetzung

keine
Empfohlene Voraussetzungen
  • PTI11820 - Data Science II, Datenvisualisierung und Überwachtes Lernen
  • PTI11830 - Data Science III, Überwachtes und Unüberwachtes Lernen 
  • PTI01710 - Mathematische Grundlagen I
  • PTI01720 - Mathematische Grundlagen II
Fortsetzungsmöglichkeiten

PTI01860, PTI01870
Literatur
  • Vorlesungsskript
  • Sutton, Barto: Reinforcement Learning: An Introduction, IEEE Transactions on Neural Networks
  • Wiering, van Otterlo: Reinforcement Learning State-of-the-Art, Springer
  • Kochfelder Et al. Decision Making Under Uncertainty Theory and Application, MIT Press
  • Whiteson: Adaptive Representations for Reinforcement Learning, Springer
  • Cao: Markov Decision Processes, Springer
  • Busoniu, Babuska, Schutter, Ernst: Reinforcement Learning and Dynamic Programming Using Function Approximators Approximator, CRC Press
  • Mausam, Kolobov: Planning with Markov Decision Processes An AI Perspective, San Rafael, Calif. 
Hinweise

Die Modulprüfung kann in deutscher und englischer Sprache abgelegt werden.
Zuordnung zum Curriculum

250 Data Science - Bachelor 2022 Vollzeit

250 Data Science - Bachelor 2022 Teilzeit

250 Data Science - Bachelor 2023 Vollzeit

250 Data Science - Bachelor 2023 Teilzeit

250 Data Science - Bachelor 2023 Vollzeit

250 Data Science - Bachelor 2023 Teilzeit

Detailansicht schließen
© Modulux (Version 4.4)