You are here: University of Vienna PHAIDRA Detail o:1319623
Title (eng)
Capturing performance based character animation in real time for unity
Parallel title (deu)
Perfomancebasierte Charakteranimation in Echtzeit mit Unity
Author
Hannes Wagner
Advisor
Helmut Hlavacs
Assessor
Helmut Hlavacs
Abstract (deu)
Bewegungen eines Akteurs direkt auf ein virtuelles 3D Modell zu übertragen ist eine effektive Art um Animationen zu generieren. Doch es gibt noch die Möglichkeit mehr als nur den Körper, sondern auch Emotionen auf Modell übertragen. Die dadurch gewonnenen Animationen wirken noch realistischer und sind künstlich sehr schwierig und Zeitaufwändig in einer solchen Qualität zu erzeugen. Das Ziel der Arbeit ist die Entwicklung eines lauffähigen Prototypen der ein solches Performance capturing system realisiert. Es soll einer Person, durch live Capturing, ermöglich werden komplexe Bewegungsabläufe und Emotionen auf einen 3D Charakter zu übertragen und diese, falls gewünscht, aufzunehmen. Diese Animation Daten sollen auf ein beliebiges humanoides 3D Modell anwendbar sein. Der capturing Prozess kann im Wesentlichen in drei Hauptbereiche unterteilt werden. Der ganze Körper, beziehungsweise das Skelett, des Acteurs wird mit Hilfe einer Kinect V2 getrackt. Bewegungen der Finger werden durch 5DT Data Gloves aufgezeichnet. Das Gesicht wird mit einer Webcam gefilmt. Dabei werden Feature Punkte extrahiert um durch diese Bewegungen/Emotionen auf das Gesicht des des Modells zu übertragen. Der Prototyp wird für die Unity Engine entwickelt und voraussichtlich in der Endversion als Asset Package verfügbar sein, um einen einfachen Import zu gewährleisten. Damit der Import problemlos funktioniert ist es wichtig, dass mindestens Unity version 5 verwendet wird. Andernfalls werden die verwendeten Plugins nicht unterstütz. Des Weiteren ist der Prototyp so entwickelt, dass Komponenten beliebig geändert werden können. Auch das Hinzufügen neuer tracking verfahren ist möglich. Dadurch ist es möglich den Prototypen individuell an zu passen und zu verbessern. Mit den Analysetools aus Unity wurde der Prototyp im Hinblick auf seine Leistungsfähigkeit getestet. Außerdem wurde er anhand einer qualitativen Analyse anderen Trackinglösungen gegenübergestellt. Die daraus gewonnenen Resultate sind in der Arbeit dokumentiert.
Abstract (eng)
Transferring an actor’s movements directly onto a virtual 3D model is an effective approach to creating animations. But even better is being able to not only transfer movements, but also expressions onto the model. These make the animations seem even more realistic and natural to the viewer. But creating these kinds of high class animations is complex and time consuming. The goal of this thesis is the development of a functional prototype, that efficiently realizes such a performance capturing system. It should enable the user to directly transfer complex motion sequences onto a 3D character by using live motion capturing, and if so desired, to even record these animations for later use. The recorded animations are supposed to be transferrable onto any humanoid 3D model. The capturing process can be segmented into three basic steps: the whole body, or rather the skeleton, of the user is tracked by a Kinect v2. Hand and finger movements are registered via 5DT Data Gloves. The face is recorded with a webcam, while feature points are extracted from it to facilitate the transfer of expressions and emotions onto the face of the model. The prototype was developed using the Unity game engine and will likely be available as an Asset Package to enable easy import. For the import to function correctly it is essential to use Unity version 5 or later, because otherwise the included plugins are not supported. The prototype was constructed in such a way, that some of the components are interchangeable, so it is possible to constantly keep adding new tracking methods. As a result it is possible to customize the prototype and even to easily extend and improve it. The prototype was performance tested with Unity’s analytical tools and compared to other tracking solutions through a qualitative analysis. The results of these tests are documented in this thesis.
Keywords (eng)
UnityKinectFace TrackingHand TrackingBody TrackingPerformance TrackingWebcamData GlovesAnimation
Keywords (deu)
UnityKinectFace TrackingHand TrackingBody TrackingPerformance TrackingWebcamDatenhandschuheAnimation
Subject (deu)
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1319623
rdau:P60550 (deu)
vii, 91, 2 Seiten : Illustrationen
Number of pages
102
Association (deu)
Members (1)
Title (eng)
Capturing performance based character animation in real time for unity
Parallel title (deu)
Perfomancebasierte Charakteranimation in Echtzeit mit Unity
Author
Hannes Wagner
Abstract (deu)
Bewegungen eines Akteurs direkt auf ein virtuelles 3D Modell zu übertragen ist eine effektive Art um Animationen zu generieren. Doch es gibt noch die Möglichkeit mehr als nur den Körper, sondern auch Emotionen auf Modell übertragen. Die dadurch gewonnenen Animationen wirken noch realistischer und sind künstlich sehr schwierig und Zeitaufwändig in einer solchen Qualität zu erzeugen. Das Ziel der Arbeit ist die Entwicklung eines lauffähigen Prototypen der ein solches Performance capturing system realisiert. Es soll einer Person, durch live Capturing, ermöglich werden komplexe Bewegungsabläufe und Emotionen auf einen 3D Charakter zu übertragen und diese, falls gewünscht, aufzunehmen. Diese Animation Daten sollen auf ein beliebiges humanoides 3D Modell anwendbar sein. Der capturing Prozess kann im Wesentlichen in drei Hauptbereiche unterteilt werden. Der ganze Körper, beziehungsweise das Skelett, des Acteurs wird mit Hilfe einer Kinect V2 getrackt. Bewegungen der Finger werden durch 5DT Data Gloves aufgezeichnet. Das Gesicht wird mit einer Webcam gefilmt. Dabei werden Feature Punkte extrahiert um durch diese Bewegungen/Emotionen auf das Gesicht des des Modells zu übertragen. Der Prototyp wird für die Unity Engine entwickelt und voraussichtlich in der Endversion als Asset Package verfügbar sein, um einen einfachen Import zu gewährleisten. Damit der Import problemlos funktioniert ist es wichtig, dass mindestens Unity version 5 verwendet wird. Andernfalls werden die verwendeten Plugins nicht unterstütz. Des Weiteren ist der Prototyp so entwickelt, dass Komponenten beliebig geändert werden können. Auch das Hinzufügen neuer tracking verfahren ist möglich. Dadurch ist es möglich den Prototypen individuell an zu passen und zu verbessern. Mit den Analysetools aus Unity wurde der Prototyp im Hinblick auf seine Leistungsfähigkeit getestet. Außerdem wurde er anhand einer qualitativen Analyse anderen Trackinglösungen gegenübergestellt. Die daraus gewonnenen Resultate sind in der Arbeit dokumentiert.
Abstract (eng)
Transferring an actor’s movements directly onto a virtual 3D model is an effective approach to creating animations. But even better is being able to not only transfer movements, but also expressions onto the model. These make the animations seem even more realistic and natural to the viewer. But creating these kinds of high class animations is complex and time consuming. The goal of this thesis is the development of a functional prototype, that efficiently realizes such a performance capturing system. It should enable the user to directly transfer complex motion sequences onto a 3D character by using live motion capturing, and if so desired, to even record these animations for later use. The recorded animations are supposed to be transferrable onto any humanoid 3D model. The capturing process can be segmented into three basic steps: the whole body, or rather the skeleton, of the user is tracked by a Kinect v2. Hand and finger movements are registered via 5DT Data Gloves. The face is recorded with a webcam, while feature points are extracted from it to facilitate the transfer of expressions and emotions onto the face of the model. The prototype was developed using the Unity game engine and will likely be available as an Asset Package to enable easy import. For the import to function correctly it is essential to use Unity version 5 or later, because otherwise the included plugins are not supported. The prototype was constructed in such a way, that some of the components are interchangeable, so it is possible to constantly keep adding new tracking methods. As a result it is possible to customize the prototype and even to easily extend and improve it. The prototype was performance tested with Unity’s analytical tools and compared to other tracking solutions through a qualitative analysis. The results of these tests are documented in this thesis.
Keywords (eng)
UnityKinectFace TrackingHand TrackingBody TrackingPerformance TrackingWebcamData GlovesAnimation
Keywords (deu)
UnityKinectFace TrackingHand TrackingBody TrackingPerformance TrackingWebcamDatenhandschuheAnimation
Subject (deu)
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1319624
Number of pages
102
Association (deu)