You are here: University of Vienna PHAIDRA Detail o:1347411
Title (eng)
Real-time facial feature detection on mobile graphics processing units
Parallel title (deu)
Echtzeit-Erkennung von Gesichtsmerkmalen auf mobilen Grafikprozessoren
Author
Christopher Helf
Adviser
Helmut Hlavacs
Assessor
Helmut Hlavacs
Abstract (deu)
Die Erkennung von Gesichtsmerkmalen oder Facial Feature Detection ist ein Schlüsselinstrument bei der Verbesserung von mobilen Apps für Endanwender und Unternehmen. Obwohl signifikante Fortschritte in der Literatur die Geschwindigkeit und Genauigkeit der Erkennung von Gesichtsmerkmalen erheblich verbessert haben, gibt es einen großen Mangel an Implementierungen, die speziell für mobile Grafikprozessoren (GPU) entwickelt werden. Diese Masterarbeit beschreibt die Implementierung einer Open-Source Gesichtsfeature-Erkennungs-Pipeline, die vollständig für GPU Processing auf der iOS-Platform geschrieben wurde und dabei Echtzeit-Performance erreicht. Dies wird erzielt durch Redesign und Optimierung einiger Algorithmen aus dem Computer Vision Bereich wie etwa Haar-Cascade Face Detection, kaskadierte Regressionsbäume für Gesichtsmerkmal Detektierung oder Optical Flow. Wir zeigen, dass durch die Kodierung eines einzigen Satzes von GPU-Anweisungen pro Frame die Leistung im Vergleich zu naiven CPU- oder sogar GPU-Implementierungen erheblich verbessert werden kann, ohne dabei Genauigkeit zu beeinträchtigen. Durch die Open- Source-Implementierung dieser Arbeit möchten wir die Erstellung von Apps erleichtern, die auf einer performanten Erkennung von Gesichtsmerkmalen im akademischen und industriellen Bereich basieren.
Abstract (eng)
Facial feature detection is a key instrument in enhancing several consumer and enterprise-grade mobile apps. Even though recent advances have vastly improved the speed and accuracy of detection of facial feature points, there is a great lack of implementations available specifically designed for mobile graphics processing units (GPU). This thesis describes the implementation of an open-source facial feature detection pipeline residing entirely on the GPU written for the iOS platform achieving real-time performance including a number of algorithms key to computer vision problems, such as face detection using haar classifiers, regression trees or optical flow. We show that by encoding a single set of GPU-instructions per frame, performance can be vastly improved as compared to naive CPU or even GPU implementations without compromising accuracy. By open-sourcing this implementation, we aim at facilitating the creation of apps relying on performant facial feature detection in both the academic and industrial domain.
Keywords (eng)
Facial Feature Detection
Keywords (deu)
Gesichtsmerkmalerkennung
Subject (deu)
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1347411
rdau:P60550 (deu)
ix, 92 Seiten : Illustrationen, Diagramme
Number of pages
103
Association (deu)
Members (1)
Title (eng)
Real-time facial feature detection on mobile graphics processing units
Parallel title (deu)
Echtzeit-Erkennung von Gesichtsmerkmalen auf mobilen Grafikprozessoren
Author
Christopher Helf
Abstract (deu)
Die Erkennung von Gesichtsmerkmalen oder Facial Feature Detection ist ein Schlüsselinstrument bei der Verbesserung von mobilen Apps für Endanwender und Unternehmen. Obwohl signifikante Fortschritte in der Literatur die Geschwindigkeit und Genauigkeit der Erkennung von Gesichtsmerkmalen erheblich verbessert haben, gibt es einen großen Mangel an Implementierungen, die speziell für mobile Grafikprozessoren (GPU) entwickelt werden. Diese Masterarbeit beschreibt die Implementierung einer Open-Source Gesichtsfeature-Erkennungs-Pipeline, die vollständig für GPU Processing auf der iOS-Platform geschrieben wurde und dabei Echtzeit-Performance erreicht. Dies wird erzielt durch Redesign und Optimierung einiger Algorithmen aus dem Computer Vision Bereich wie etwa Haar-Cascade Face Detection, kaskadierte Regressionsbäume für Gesichtsmerkmal Detektierung oder Optical Flow. Wir zeigen, dass durch die Kodierung eines einzigen Satzes von GPU-Anweisungen pro Frame die Leistung im Vergleich zu naiven CPU- oder sogar GPU-Implementierungen erheblich verbessert werden kann, ohne dabei Genauigkeit zu beeinträchtigen. Durch die Open- Source-Implementierung dieser Arbeit möchten wir die Erstellung von Apps erleichtern, die auf einer performanten Erkennung von Gesichtsmerkmalen im akademischen und industriellen Bereich basieren.
Abstract (eng)
Facial feature detection is a key instrument in enhancing several consumer and enterprise-grade mobile apps. Even though recent advances have vastly improved the speed and accuracy of detection of facial feature points, there is a great lack of implementations available specifically designed for mobile graphics processing units (GPU). This thesis describes the implementation of an open-source facial feature detection pipeline residing entirely on the GPU written for the iOS platform achieving real-time performance including a number of algorithms key to computer vision problems, such as face detection using haar classifiers, regression trees or optical flow. We show that by encoding a single set of GPU-instructions per frame, performance can be vastly improved as compared to naive CPU or even GPU implementations without compromising accuracy. By open-sourcing this implementation, we aim at facilitating the creation of apps relying on performant facial feature detection in both the academic and industrial domain.
Keywords (eng)
Facial Feature Detection
Keywords (deu)
Gesichtsmerkmalerkennung
Subject (deu)
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1347412
Number of pages
103
Association (deu)