Autonome Lernsysteme - vom Algorithmus zur Anwendung

Wir freuen uns ueber Rückfragen, z.B. durch ein eMail an mail@jan-peters.net !!!

Quick Facts

Organizers:Jan Peters, Abdeslam Boularias, Heni Ben Amor, Gerhard Neumann, Duy Nguyen-Tuong, Marc Deisenroth
Vorbesprechung:Fr, 26. Okt. 2012, 16:00-18:00, Raum S202-E302
Themenwahl:Fr., 2. Nov. 2012
Abgabe Seminararbeit:Fr., 1. Feb. 2013
Blockseminar:Mo, 18. Feb. 2012, 9:30-18:00, Raum S202-E302
 Di, 19. Feb. 2012, 9:30-18:00, Raum S202-E302
TU-CAN:20-00-0631-se Autonome Lernende Systeme - Vom Algorithmus zur Anwendung
Credits:3,0

Einführung

Die Informatik entwickelt sich seit dem Aufkommen des World-Wide-Webs von einer Computerwissenschaft langsam in die Kunst, intelligente Software- und Hardwaresysteme zu erstellen, die aus Daten guten Schluesse ziehen. Die Kerntechnologie der zukuenftigen Informatik ist daher das Maschinelle Lernen. In diesem Seminar beschaeftigen wir uns mit dem spannenden Thema:

Wie können wir Autonome Agenten schaffen, die von ihren eigenen Erfahrungen lernen?

aus der Perspektive des maschinellem Lernens. Es wird eine Vielzahl von Themen in diesem Bereich behandelt und die Betreuung wird durch drei weltbekannte Experten in diesem Bereich stattfinden.

Themengebiete

Das Forschungsgebiet Autonome Lernsysteme ist sehr gross. In diesem Seminar wuerden wir uns besonders auf die folgenden Themen konzentrieren:

  • Reinforcement Learning
  • Inverse Reinforcement Learning
  • Learning physical models of robots
  • Probabilistic inference for autonomous learning
  • Search and planning for autonomous systems
  • Optimization
  • Partially Observable Markov Decision Problems
  • Learning in multi-agent systems
  • Exploration-Exploitation Trade-Off in Bandits
  • Contextual Bandits
  • Learning in adversarial systems and games
  • Learning for control
  • Probabilistic system identification
  • Philosophical foundations (e.g., from an AI, Probability / Information / Decision Theory or No-Free-Lunch point of view…) of autonomous learning systems
  • Applications of Autonomous Learning Systems in Software Agents (e.g., at Google or Yahoo)
  • Applications in Robot Learning Systems

Diese Liste ist nie vollstaendig weil wir bereit sind, uns auf Interessen von Teilnehmern einzustellen! Studenten mit besonderen eigenen Interessen bitten wir, uns vor der Vorbesprechung Bescheid zu sagen. Literatur wird bei der Vorbesprechung ausgeteilt.

Hier eine Liste von moeglichen Themen!

Vorwissen

Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen den Informatik.

Format

Das Seminar wird als intensives Blockseminar angeboten. Es findet auf drei Termine verteilt statt: einer Vorbesprechung und zwei Seminartagen. Zwischen der Vorbesprechung und dem den zwei Seminartagen fertigen alle Teilnehmenden eine Seminararbeit und einen Seminarvortrag in Abstimmung mit ihren Betreuern an. Der Vortrag wird an den zwei Seminartagen vor dem gesamten Seminar gehalten. Die Termine sind:

Vorbesprechung:Fr, 26. Okt. 201216:00-18:00Raum S202-E302
Seminartage:18.-19 Feb. 20139:30-18:00Raum S202-E302

Bitte beachten Sie auch die folgenden Termine:

Themenwahl:Fr., 2. Nov. 2012
Abgabe Seminararbeit:Fr. 1. Feb. 2013

Sowohl Seminararbeiten und Seminarvortraege in Englisch werden besonders gefoerdert durch alle drei Betreuer da diese alle im englischsprachigen Ausland promoviert haben.

Themenwahl

Bitte waehlen Sie aus der Liste von moeglichen Themen [link] sich drei Themen aus und schicken bis zum obige Datum eine eMail an mail@jan-peters.net mit Ihrem Themenwunsch in dem Format:

A > B > CEntspricht ich moechte A lieber als B lieber als C.
A > B, CEntspricht ich moechte A lieber als B oder C, aber ob B oder C ist dann auch egal.
A >> B > CEntspricht ich moechte A ist mein Thema und ich goenne es NIEMANDEM.
Wenn es sein muss nehme ich B oder C und dabei B lieber als C.

Ein paar Tage spaeter teilen wir Ihnen voraussichtlich Ihr Thema mit. Wenn Ihr Betreuer sich nicht bei Ihnen direkt meldet, setzen Sie sich bitte mit ihm in Kontakt.

Vergebene Themen

Hier sind die Liste der Namen und Themen:

Thesis on TopicReport on TopicNameAdvisor
AHFlorian KunzGerhard Neumann
HLYannick SchroeckerAbdeslam Boularias
LASabina KrukAbdeslam Boularias
QSMatthias ZöllnerGerhard Neumann
STKarsten WillMarc Deisenroth
TWAchim SteinDuy Nguyen-Tuong
WQLeonard SwiezinskiDuy Nguyen-Tuong

Bitte nehmen Sie umgehend mit Ihrem Betreuer Kontakt auf falls er es nicht selbst tut. Die Liste der Themen finden Sie HIER!

Seminararbeit

In der Seminararbeit verwenden Sie bitte das folgende NIPS Format [download here]. Uns ist nicht wichtig, wie viele Seiten Sie schreiben, sondern dass Sie eine hohe Qualität in der Arbeit erreichen. Um Qualität zu erreichen, achten Sie bitte auf die folgenden Aspekte bei Ihrer Arbeit:

  • Structure of Contents / Gliederung
  • Comprehensibility / Verständlichkeit
  • Quality of Illustrations / Illustrationsqualität
  • Quality of Bibliography/Qualität des Literaturverzeichnisses
  • Appropriate Citations? Passende Zitierungen?
  • Extra: Read more papers? Mehr Papiere bearbeitet?
  • Extra: Own ideas? / Eigene neue Ideen?
  • Extra: Implemented the Algorithms / Mit Implementierung?
  • Extra: Arbeit auf Englisch? Paper in English!

Als grobe Richtlinie: 7-10 Seiten im NIPS Format (ohne das Literaturverzeichnis) reichen vollkommen, wenn sie gut geschrieben sind.

Ein paar Tips zum Schreiben von guten Seminararbeiten und Artikeln finden Sie [hier] und [hier].

Bitte senden Sie Ihrem Betreuer bis spätestens zum

December 9, 2012

ein PDF was zumindest den Table Of Contents Ihrer Seminararbeit enthält.

Seminararbeiten

Die folgenden Seminararbeiten wurden eingereicht:

Kruk, S. (2013). Planning with Multiple Agents, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Kunz, F. (2013). An Introduction to Temporal Difference Learning, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Schroecker, Y. (2013). Planning for Relational Rules, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Stein, A. (2013). Learning Robot Locomotion, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Swiezinski, L. (2013). Lifecycle of a Jeopardy Question Answered by Watson DeepQA, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Will, K. (2013). Autonomous Chess-Playing, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Zoellner, M. (2013). Reinforcement Learning in Games, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Seminarvortrag

Bitte bereiten Sie einen Seminarvortrag mit einer Länge von 25 Minuten vor. Diese Dauer ist strikt und darf nicht überschritten werden. Nach dem Seminarvortrag müssen Sie mit 5-10 Minuten Fragen rechnen. Bitte sprechen Sie rechtzeitig vor dem Blockseminar mit Ihrem Betreuer Ihren Vortrag ab bzw schicken Sie ihm die Folien.

Wichtig sind uns bei den Vorträgen besonders:

  • Structure of Contents / Gliederung
  • Sufficient Content? Genügend Inhalte präsentiert?
  • Good Illustrations: Pictures, Movies, Diagrams?
  • Eigenes Verständnis/Can the presenter explain all equations on the slides?

Tips zu Vorträgen finden Sie wiederum [hier] und [hier]. Besonders hervorheben möchten wir [diesen Guide hier].

BeobachterIn: Präsentationszusammenfassung

Jeder Teilnehmer kommentiert genau eine andere Präsentation und fasst diese in ca. 5 Minuten zusammen. Hierbei soll der/die BeobachterIn sowohl hervorheben was wichtig war als auch konstruktive Kritik üben. Das Thema wird nach Abgabe der Seminararbeiten mitgeteilt und die Seminararbeit wird dem/der BeobachterIn rechtzeitig zur Verfuegung gestellt.

Seminar

8:45-8:59Welcome and Formalities
  
9:00-9:34Imitation Learning
25minThesis Presentation: Michael Kutschke
5minQuestions of the Audience
5minReporter: Sergej Hardock
  
9:35-10:09Learning physical Models of Robots
25minThesis Presentation: Jochen Mück
5minQuestions of the Audience
5minReporter: Peter Englert
  
10:10-10:44Locally Weighted Learning
25minThesis Presentation: Peter Englert
5minQuestions of the Audience
5minReporter: Dominik Schönberger
  
10:45-11:14Coffee Break
  
11:15-11:49Inverse Reinforcement Learning
25minThesis Presentation: Arthur Fischer
5minQuestions of the Audience
5minReporter: Michael Kutschke
  
11:50-12:24Applications in Robot Helicopter Acrobatics
25minThesis Presentation: Sergej Hardock
5minQuestions of the Audience
5minReporter: Christoph Dann
  
12:25-13:59Lunch Break
  
14:00-14:34Extensive Games
25minThesis Presentation: Oleg Arenz
5minQuestions of the Audience
5minReporter: Thomas Pignede
  
14:35-15:09Evolution of Reinforcement Learning in Games or How to Win against Humans with Intelligent Agents
25minThesis Presentation: Thomas Pignede
5minQuestions of the Audience
5minReporter: Oleg Arenz
  
15:10-15:44Algorithms for Fast Gradient Temporal Difference Learning
25minThesis Presentation: Christoph Dann
5minQuestions of the Audience
5minReporter: Svenja Stark
  
15:45-16:14Coffee Break
  
16:15-16:49Do Reinforcement Learning Models Explain Neural Learning?
25minThesis Presentation: Svenja Stark
5minQuestions of the Audience
5minReporter: Jochen Mück
  
16:50-17:24Planning in POMDPs
25minThesis Presentation: Dominik Schönberger
5minQuestions of the Audience
5minReporter: Arthur Fischer
  
17:25Conclusion

Betreuer

Fuer dieses Seminar steht eine exzellente Betreuung zur Verfuegung bestehend aus mehreren weltweit anerkannten Experten. Zwei von diesen kommen extra von ausserhalb fuer dieses Seminar.

Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.

Dr. Abdeslam Boularias ist ein weltbekannter Forscher im Bereich von Reinforcement Learning (d.h., Lernen durch Versuch und Fehler) und im Apprenticeship Learning (d.h., der Rekonstruktion der Kostenfunktion des Lehrers um ihn optimal nachzuahmen). Abdeslam Boularias hat in Kanada an der bekannten Laval University promoviert und wird extra zu diesem Blockseminar an die TU Darmstadt kommen. Fuer Rueckfragen auf Englisch steht Abdeslam Boularias unter abdeslam.boularias@tuebingen.mpg.de zur Verfuegung.

Dr. Heni Ben Amor beschaeftigt sich mit Imitations- und Interaktionslernen fuer Humanoide Roboter und mit dem Lernen. Promoviert hat Heni Ben Amor an der TU Freiberg aber er hat umfangreiche Erfahrungen in der japanischen Robotik gesammelt durch zahlreiche Aufenthalte an der Osaka University. Fuer Rueckfragen auf Deutsch oder Englisch steht Heni Ben Amor unter amor@ias.tu-darmstadt.de zur Verfuegung.

Dr. Gerhard Neumann forscht im Bereich des Reinforcement Learning zum Erwerb von Motorfaehigkeiten. Promoviert hat Gerhard Neumann an der Technischen Universitaet Graz. Fuer Rueckfragen auf Deutsch oder Englisch steht Gerhard Neumann unter geri@robot-learning.de zur Verfuegung.

Dr. Marc Deisenroth forscht im Bereich des Probabilistischen und Bayesianischen Maschinellen Lernens im Speziellen Anwendungszusammenhang zu Control und Robotik. Hierbei liegen seine Schwerpunkte in der Nutzung von Gaußschen Prozessen im Filtern, fuer Vorwärtsmodelle und zur Regelung. Seine Doktorarbeit fertigte Marc Deisenroth am Max Planck Institut für Biologische Kybernetik und an der Cambridge University an. Danach verbrachte er zwei Jahre als Post-Doc an der University of Washington in Seattle. Für Rückfragen auf Deutsch oder Englisch steht Marc Deisenroth unter marc@ias.tu-darmstadt.de zur Verfügung.

Dr. Duy Nguyen-Tuong did his Ph.D. at the Max Planck Institute for Intelligent Systems including a stay at the University of Southern California. Before doing so, he studied control and automation engineering at the University of Stuttgart and the National University of Singapore. He is now with Bosch Research in Schwieberdingen (Stuttgart), where he works on application of machine learning techniques in automobile and robotics.

Da sowohl Abdeslam Boularias, Heni Ben-Amor, Jan Peters, Marc Deisenroth und Duy Nguyen-Tuong im Ausland studiert bzw. promoviert haben, stehen Sie auch fuer Fragen zum Auslandsstudium zur Verfuegung.

  

zum Seitenanfang