Vorlesung: Lernende Roboter (Robot Learning)

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an !!!

Quick Facts

Vortragende:Jan Peters
Zusaetzliche Betreuung:Filipe Veiga, Rudolf Lioutikov
Termine:Mittwochs, 13:30-15:10 im Raum S202/C120
 Donnerstags, 10:45-11:30 im Raum S202/C110
TU-CAN:20-00-0629-vl Lernende Roboter
Credits:6,0
Exam:Donnerstag 17.03.2016, 10:00 - 12:00 im Raum S202/C205

Beschreibung

Die klassische Robotik hat bereits um 1980 einen hohen Reifegrad erreicht und man war in der Lage grosse Fabriken zur Produktion von z.B. Autos komplett zu automatisieren. Trotz dieser beeindruckenden Leistungen haben weder moderne Serviceroboter noch die humanoiden Roboter die Fabrikgelaende verlassen und einen Platz als Robot Companion an unserer Seite eingenommen. Ein entscheidende Grund hierfuer ist es, dass es uns bis heute schwerer faellt, Roboter zu programmieren als Computer. Wenn Roboter ihre Aufgaben durch eine Mischung aus Imitation und Ausprobieren selber lernen koennten, dann wuerden sich voellig neue Perspektiven eroeffnen: vom Roboter der einem zu Hause Aufgaben abnimmt bis hin zur Produktion von Kleinserien wo die geringe Stueckzahl eine Roboter-basierte Produktion wegen der hohen Programmierkosten unmoeglich macht.

In der Forschung hat dieser Ansatz in den letzten zehn Jahren einen grossen Einfluss genommen und an allen Spitzenuniversitaeten der Welt wird in diesem Bereich geforscht. Der Erfolg dieser neuen Methoden wurde in einer Vielzahl von Beispielszenarien gezeigt: Autonome Helikopter welche von Lehrern komplexe Maneuver lernen, gehende Roboter lernen Ihre Fuesse mit verbessertem Halt aufzusetzen, selbstgelenkte Autos die mit hoher Geschwindigkeit in Parkluecken rasen, humanoide Roboter die einen Stab auf der Hand balancieren und anthropomorphe Arme welche Pfannkuchen umdrehen oder mit motorisch anspruchsvollem Spielzeug spielen.

Das Projektpraktikum Lernende Roboter bieten wir parallel zur Vorlesung an. Es soll den Teilnehmern zu ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Lernproblem geloest werden und diese damit praktisch ausprobiert werden.

Lehrinhalte

Grundlagen fuer Lernende Roboter aus der Robotik & dem maschinellen Lernens, Modell-Lernen, Imitationslernen, Reinforcement Learning, Motor Primitive und Hierarchische Abstraktion, Apprenticeship Learning, Generalisierung von Plaenen, Anwendungszenarien und derzeitige grosse Herausforderungen.

Vorwissen

Mathematik aus den ersten Semestern, Programmieren in Matlab und C, Grundlagen den Informatik

Office Hours

Jan Peters (Vortragender)Mittwoch, 16:00 - 17:00
Filipe VeigaFriday 11:00 - 12:00
Rudolf LioutikovMonday 09:00 - 10:00

Sprache

The lectures will be in English unless severe concerns exist...

Zusatzinformation

Syllabus

Guideline for the homwork and the lectures Syllabus.

Lecture Slides

DateTopicBackground Material
Mi, 14. Okt.IntroductionSlides
Do, 15. Okt.MATLAB + Python Intro by Filipe and Rudolf 
Mi, 21. Okt.RoboticsSlides
Do, 22. Okt.RoboticsSlides
Mi, 28. Okt.RoboticsSlides
Do, 29. Okt.RoboticsSlides
Mi, 3. Nov.RoboticsSlides
Mi, 11. Nov.Machine Learning 101 aSlides
Do, 12. Nov.Machine Learning 101 bSlides
Mi, 16. Nov.Model LearningSlides
Mi, 25. Nov./Do, 26. Nov.Imitation LearningSlides
Mi, 2. Dec.Optimal Decision MakingSlides
Mi, 9. Dec.Optimal ControlSlides
Mi, 13. Jan.Value Function MethodsSlides
Mi, 20. Jan.Policy Search Policy GradientsSlides
Mi, 27. Jan.Probabilistic Policy SearchSlides
Mi, 3. Feb.Inverse Reinforcement LearningSlides

Lecture Notes

Here we will put some small tutorials on relevant topics for the lecture. These tutorials are supporting materials for the slides. So far we have:

  1. Constraint Optimization
  2. Probabilistic Regression
  3. Optimal Control (from Univ. of Stuttgart / Prof. Marc Toussaint)
  4. Gaussian Identities (from Univ. of Stuttgart / Prof. Marc Toussaint)
  5. Matrix Cookbook (from MIT)

iPython Notebooks

 Group 1Group 2Group 3Group 4
Lecture 2html, ipynbhtml, ipynbhtml, ipynbhtml, ipynb
Lecture 3html, ipynbhtml, ipynbhtml, ipynbhtml, ipynb
Lecture 4html, ipynbhtml, ipynb   
Lecture 5html, ipynbhtml, ipynb   
Lecture 6html, ipynbhtml, ipynb   
Lecture 7html, ipynb    

Matlab Scripts

Literatur

Robot Learning ist ein aktuelles Thema, fuer welches es keine Lehrbuecher gibt, aber eine Vielzahl guter Artikel welche unterhalb eingefuegt sind.Es werden aber alle Slides auf dem Internet zur Verfuegung stehen.


  1. Deisenroth, M. P.; Neumann, G.; Peters, J. (2013). A Survey on Policy Search for Robotics, Foundations and Trends in Robotics, 21, pp.388-403.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]
  2. Kober, J; Bagnell, D.; Peters, J. (2013). Reinforcement Learning in Robotics: A Survey, International Journal of Robotics Research, 32, 11, pp.1238-1274.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]
  3. Nguyen-Tuong, D.; Peters, J. (2011). Model Learning in Robotics: a Survey, Cognitive Processing, 12, 4.   See Details [Details]   Download Article [PDF]   BibTeX Reference [BibTex]

Lehrbücher zu einzelnen Unterthemen findet ihr hier:

  1. B. Siciliano, L. Sciavicco: Robotics: Modelling, Planning and Control, Springer, 2009 springer
  2. C.M. Bishop, Pattern Recognition and Machine Learning (2006), Springer book announcement
  3. R. Sutton, A. Barto. Reinforcement Learning - an Introduction, MIT Press Free online copy.


Zusätzlich werden wir die iPython Notebooks allgemein zugänglich machen.

Homeworks and iPython Scribes

Homework exercises wird gemaess der Bonuspunkteregelung angerechnet, und nur angerechnet wenn es vor dem Vortraeg der Loesung durch den Teaching Assistant abgegeben wurde. Bei jeder Verspätung (unbegründeten wie begründeten) werden diese gar nicht angerechnet, bei Kopieren wird die Uebung gar nicht angerechnet. Die Hausaufgaben können die Note bei der Abschlussprüfung um eine Note von maximal 0.5 verbessern.

Gleichzeitig werden zu jeder Vorlesung iPython Scribes gesucht, welche helfen, diese als iPython Notebook zu realisieren. Bei Abgabe eines iPython Scribe Homework kann sich die Note um bis zu 0.5 verbessern.

  • Topic 1a: Robotics in a Nutshell - Kinematics and Dynamics
  • Topic 1b: Robotics in a Nutshell - Trajectories and Control

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten meldet Euch bitte sofort!

  

zum Seitenanfang