Title (eng)
Imitation learning from multiple perspectives
a multi-discriminator framework
Parallel title (deu)
Imitierendes Lernen mit mehreren Perspektiven
ein Multi-Diskriminator Ansatz
Author
Susanna Maria Weinberger
Advisor
Sebastian Tschiatschek
Assessor
Sebastian Tschiatschek
Abstract (deu)
Diese Arbeit widmet sich der Lösung des Problem des imitierenden Lernens mit Hilfe der Nachahmung eines Experten, wobei mehrere Perspektiven dieses Experten in Form von Videosequenzen bereitgestellt werden. Die Miteinbeziehung von mehreren Perspektiven bietet nicht nur den Vorteil eines größeren Informationsgehalts, der mit einer Perspektive nicht abgedeckt werden kann, sondern ermöglicht es auch den Fokus des lernenden Algorithmus auf die zu diesem Zeitpunkt lehrreichste Perspektive zu lenken. Dieser Ansatz kann beispielsweise in der Robotik verwendet werden, um einen Menschen in Bezug auf verschiedene Perspektiven effizient nachzuahmen. Zu diesem Zweck geben wir einen Überblick über die derzeitige Forschung im Bereich des imitierenden Lernen und formalisieren das Problem des imitierenden Lernens aus mehreren Perspektiven. Wir stellen ein erweitertes GAIL - Generative Adversarial Imitation Learning - Framework vor, das durch Verwendung von verschiedenen Perspektiv-Auswahl Strategien versucht den Lernprozess eines Agenten bestmöglich zu unterstützen. Wir evaluieren unser Framework in umfangreichen Experimenten und illustrieren empirisch seine Funktionalität und Lernfähigkeit. Außerdem diskutieren wir den Effekt der verschiedenen Strategien auf die Performance, beweisen die weiterhin gute Performance bei eingeschränkter Verfügbarkeit von Expertendaten und demonstrieren eine Verbesserung der Performance durch unseren Ansatz im Vergleich zu relevanten Baselines.
Abstract (eng)
This thesis focuses on the problem of imitation learning from observations based on expert’s demonstrations from multiple perspectives provided as images. On the one hand, introducing multiple perspectives increases the amount of available information in comparison to using only one fixed perspective. On the other hand, training an agent on multiple perspectives offers the possibility to steer the focus of the learning agent to perspectives which support it best in its current learning progress by showing the agent a curated selection of perspectives. Such an approach could prove for example helpful in robotics when learning through video sequences of different perspectives from a human demonstrator. To this end, we provide an overview of relevant related work in the field of imitation learning with special focus on learning purely from observations and formalise the imitation learning problem from multiple perspectives. We propose an extended imitation learning framework based on GAIL - Generative Adversarial Imitation Learning – that leverages the provided information from multiple perspectives utilising different strategies for perspective selection. We evaluate the proposed framework in extensive experiments and show empirically its ability to learn with our proposed strategies. Furthermore, we assess the impact of various strategies on imitation performance, show the capability of the framework in the face of a restricted access to expert demonstrations and demonstrate that our proposed approach outperforms relevant baselines.
Keywords (deu)
Imitierendes LernenLernen durch Beobachtungmehrere Perspektiven
Keywords (eng)
Imitation LearningLearning from Observationsmulti perspective
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1914157
rdau:P60550 (deu)
xv, 79 Seiten : Illustrationen
Number of pages
97
Association (deu)
Title (eng)
Imitation learning from multiple perspectives
a multi-discriminator framework
Parallel title (deu)
Imitierendes Lernen mit mehreren Perspektiven
ein Multi-Diskriminator Ansatz
Author
Susanna Maria Weinberger
Abstract (deu)
Diese Arbeit widmet sich der Lösung des Problem des imitierenden Lernens mit Hilfe der Nachahmung eines Experten, wobei mehrere Perspektiven dieses Experten in Form von Videosequenzen bereitgestellt werden. Die Miteinbeziehung von mehreren Perspektiven bietet nicht nur den Vorteil eines größeren Informationsgehalts, der mit einer Perspektive nicht abgedeckt werden kann, sondern ermöglicht es auch den Fokus des lernenden Algorithmus auf die zu diesem Zeitpunkt lehrreichste Perspektive zu lenken. Dieser Ansatz kann beispielsweise in der Robotik verwendet werden, um einen Menschen in Bezug auf verschiedene Perspektiven effizient nachzuahmen. Zu diesem Zweck geben wir einen Überblick über die derzeitige Forschung im Bereich des imitierenden Lernen und formalisieren das Problem des imitierenden Lernens aus mehreren Perspektiven. Wir stellen ein erweitertes GAIL - Generative Adversarial Imitation Learning - Framework vor, das durch Verwendung von verschiedenen Perspektiv-Auswahl Strategien versucht den Lernprozess eines Agenten bestmöglich zu unterstützen. Wir evaluieren unser Framework in umfangreichen Experimenten und illustrieren empirisch seine Funktionalität und Lernfähigkeit. Außerdem diskutieren wir den Effekt der verschiedenen Strategien auf die Performance, beweisen die weiterhin gute Performance bei eingeschränkter Verfügbarkeit von Expertendaten und demonstrieren eine Verbesserung der Performance durch unseren Ansatz im Vergleich zu relevanten Baselines.
Abstract (eng)
This thesis focuses on the problem of imitation learning from observations based on expert’s demonstrations from multiple perspectives provided as images. On the one hand, introducing multiple perspectives increases the amount of available information in comparison to using only one fixed perspective. On the other hand, training an agent on multiple perspectives offers the possibility to steer the focus of the learning agent to perspectives which support it best in its current learning progress by showing the agent a curated selection of perspectives. Such an approach could prove for example helpful in robotics when learning through video sequences of different perspectives from a human demonstrator. To this end, we provide an overview of relevant related work in the field of imitation learning with special focus on learning purely from observations and formalise the imitation learning problem from multiple perspectives. We propose an extended imitation learning framework based on GAIL - Generative Adversarial Imitation Learning – that leverages the provided information from multiple perspectives utilising different strategies for perspective selection. We evaluate the proposed framework in extensive experiments and show empirically its ability to learn with our proposed strategies. Furthermore, we assess the impact of various strategies on imitation performance, show the capability of the framework in the face of a restricted access to expert demonstrations and demonstrate that our proposed approach outperforms relevant baselines.
Keywords (deu)
Imitierendes LernenLernen durch Beobachtungmehrere Perspektiven
Keywords (eng)
Imitation LearningLearning from Observationsmulti perspective
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:2010433
Number of pages
97
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0