Title (eng)
Optical flow on evolving manifolds with an application to the analysis of fluorescence microscopy data
Parallel title (deu)
Optischer Fluss auf bewegten Mannigfaltigkeiten mit einer Anwendung zur Analyse von Fluoreszenzmikroskopiedaten
Author
Lukas Lang
Advisor
Otmar Scherzer
Monika Henzinger
Assessor
Jean-Francois Aujol
Willi Freeden
Abstract (deu)
Die Bestimmung von Bewegungen in Videos ist ein allgegenwärtiges Ziel im Gebiet der mathematischen Bildanalyse und der Computer Vision.
Ein zentrales Anliegen stellt die Berechnung des optischen Flusses in einer Bildsequenz dar.
Dessen erklärtes Ziel ist es, aus Fluktuationen der Bildintensität ein Vektorfeld zu bestimmen welches die Bewegungen von Objekten in einer aufgenommenen Szene erfasst.
Üblicherweise wird der optische Fluss in planaren Bildsequenzen bestimmt.
Generalisierungen auf nichteuklidische Räume ermöglichen beispielsweise die Analyse von Zellbewegungen in Zeitraffer-Mikroskopaufnahmen.
Fluoreszenzmikroskopie erlaubt heutzutage hochauflösende Beobachtungen von biologischen Modellorganismen wie zum Beispiel dem Zebrafisch.
Trotz wesentlicher Bedeutung für die Organ- und Gewebebildung ist nur wenig bekannt hinsichtlich der Bewegungs- und Proliferationsmuster von Zellen während dessen frühen Entwicklungsstadiums.
Die Beantwortung vieler Fragen bezüglich dieser Aspekte basiert auf dem Wissen um Zellbewegungen.
Steigende räumliche und zeitliche Auflösung von bildgebenden Verfahren und die dabei entstehenden beachtlichen Datenmengen machen die manuelle, von Menschen durchgeführte Bildanalyse, impraktikabel.
Automatische Auswertung ist unausweichlich um Zellbewegungen in den oben erwähnten Mikroskopdaten zu verfolgen.
Die Bestimmung des optischen Flusses trägt zur Erforschung von Zellmechanismen und dem dynamischen Verhalten von Zellen bei und liefert das dazu notwendige quantitative Verfahren.
Die primäre biologische Motivation für diese Dissertation ist der Wunsch, Zellbewegungen in einem lebenden Zebrafischembryo während dessen Embryogenese zu analysieren.
Die vorliegenden Bilddaten zeigen endoderme Zellen, welche mit einem grün fluoreszierenden Protein markiert wurden.
Anhand eines Laser-Scanning-Mikroskops lassen sich vierdimensionale Bildsequenzen von den markierten Zellen aufnehmen.
Während des frühen Entwicklungsstadiums des Zebrafisches formen endoderme Zellen einen sogenannten Monolayer.
Dies bedeutet, dass Zellen dieses Typs nebeneinander auf einer gekrümmten Oberfläche angeordnet sind.
Die wesentliche Idee dieser Dissertation ist es, diesen Umstand zu nützen und diese Schicht als bewegte zweidimensionale Oberfläche zu modellieren und Zellbewegungen nur bezüglich dieser sich deformierenden Mannigfaltigkeit zu betrachten.
Da sich die räumliche Dimension verringert, folgt daraus als Konsequenz eine Reduzierung der zu untersuchenden Datenmenge und ermöglicht so eine effiziente Bewegungsanalyse in den obengenannten Bildsequenzen.
In dieser Dissertation formulieren wir die Bestimmung von Zellbewegungen als Variationsproblem und behandeln den optischen Fluss auf einer bewegten zweidimensionalen Mannigfaltigkeit.
Je nach Wahl der Geometrie liegen verschiedene Approximationen zugrunde.
Im ersten Teil der Arbeit nehmen wir die Oberfläche des Embryos als veränderlich an und übertragen das (Tikhonov-regularisierte) Horn-Schunck-Funktional und dessen raumzeitliche Generalisierung von Weickert und Schnörr auf dieses nichteuklidische und dynamische Szenario.
Im zweiten Teil widmen wir uns der Topologie des Embryos.
Zuerst nehmen wir an, es sei eine statische Kugel und untersuchen verschiedene Zerlegungsfunktionale für Vektorfelder.
Wir orientieren uns an aktuellen Trends in der Bildzerlegung und ergründen u+v und hierarchische Zerlegungsmodelle für den optischen Fluss.
Die gewählte numerische Optimierungsmethode approximiert die Lösung in einem endlich-dimensionalen Raum aufgespannt durch Vektor Spherical Harmonics.
Daraus ergibt sich der Vorteil großer Flexibilität bezüglich der Regularisierungsfunktionale und eine automatische Helmholtz-Zerlegung des Flussfelds.
Ferner widmen wir uns der genaueren geometrischen Modellierung des Zebrafischembryos.
Wir betrachten diesen als sphärenähnliche Oberfläche, die sich im Laufe der Entwicklung des Embryos verformt.
Zu diesem Zwecke erweitern wir das Optische-Fluss-Funktional von Lefèvre und Baillet um das Szenario einer veränderlichen sphärenähnlichen Mannigfaltigkeit.
Das Variationsproblem lösen wir anhand einer Galerkinmethode basierend auf tangentialer Vector Spherical Harmonics.
Um die sphärenähnliche Oberfläche aus den Mikroskopiedaten zu bestimmen, formulieren wir dieses Problem ebenfalls als Variationsproblem und lösen dieses mittels Expansion in skalaren Spherical Harmonics.
Schlussendlich präsentieren wir numerische Ergebnisse basierend auf den obengenannten Zellmikroskopiedaten eines lebenden Zebrafischembryos und veranschaulichen diese mit adäquaten Visualisierungsmethoden.
Abstract (eng)
Motion estimation is an omnipresent goal in image analysis and computer vision.
An important task within is optical flow computation in a sequence of images.
It addresses the issue of inferring a vector field from intensity variations, thereby describing the displacements of moving objects.
Typically, optical flow is computed in the plane but is readily generalised to non-Euclidean settings allowing, for instance, for cell motion analysis in time-lapse microscopy data.
Today, fluorescence microscopy enables high-resolution observations of biological model organisms, such as the zebrafish, on the scale of single cells.
Despite its importance for tissue and organ formation, only little is known about cell migration and proliferation patterns during the zebrafish's early embryonic development.
Many of the questions raised involve estimating cell motion.
In view of increasing spatial as well as temporal resolutions resulting in tremendous amounts of data, manual analysis through visual inspection by humans is impracticable.
Therefore, automated cell motion estimation is key to the large-scale analysis of above-mentioned data.
Optical flow delivers quantitative methods and leads to insights into underlying cellular mechanisms and the dynamic behaviour of cells.
The primary biological motivation for this thesis is the desire to analyse cell motion in a living zebrafish embryo during early embryogenesis.
The data at hand depict endodermal cells expressing a green fluorescence protein.
Laser-scanning microscopy allows recording (volumetric time-lapse) 4D images of these labelled cells without capturing the background.
During early development these cells float on a so-called monolayer, meaning that they form a round surface in a single layer.
We exploit this situation and model this layer as a two-dimensional surface deforming over time.
The main idea of this thesis is to conceive cell motion only on this evolving surface.
As a direct consequence, one is able to reduce the spatial dimension of the data, resulting in more efficient motion estimation of afore-mentioned microscopy data.
We formulate the problem of cell motion analysis as a variational optical flow problem on evolving two-dimensional manifolds.
Naturally, this surface is subject to geometrical approximations.
In the first part, we focus on the embryo's changing geometry and assume that the cells' layer deforms over time.
To this end, we translate the original (Tikhonov-regularised) Horn-Schunck functional and the spatio-temporal extension by Weickert and Schnörr to this non-Euclidean and dynamic setting.
In the second part of this thesis, we pay close attention the topology of the embryo's surface.
First, we assume that it is a static round sphere and investigate several vector field decomposition functionals.
In particular, we follow recent trends in image decomposition and study u+v and hierarchical decomposition models for optical flow.
The chosen numerical method solves the problem in a finite-dimensional space spanned by tangential vector spherical harmonics and is advantageous in two ways.
It provides great flexibility with respect to the regularisation functionals and, as a by-product, yields a Helmholtz decomposition of the flow field.
Second, we consider a more appropriate geometrical model for the zebrafish's embryo, namely evolving sphere-like surfaces.
These surfaces can be parametrised from the 2-sphere and constitute a more natural approximation of the embryo's shape.
We extend the optical flow functional of Lefèvre and Baillet for surfaces embedded in R^3 to this new setting.
The variational problem is solved by means of a Galerkin method based on tangential vector spherical harmonics.
In order to find the sphere-like surfaces from cell microscopy data we devise a method for surface interpolation by means of scalar spherical harmonics expansion.
Finally, we present numerical results on the basis of the afore-mentioned cell microscopy data of a live zebrafish and picture the results in a visually adequate manner.
Keywords (eng)
Optical flowevolving surfacessphere-like surfacesvariational methodsvector field decompositionbiomedical imagingcomputer vision
Keywords (deu)
Optischer Flussbewegte Mannigfaltigkeitensphärenähnliche OberflächenVariationsmethodenVektorfeldzerlegungbiomedizinische Bildverarbeitungmaschinelles Sehen
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1319237
rdau:P60550 (deu)
IX, 130 S. : Ill., graph. Darst.
Number of pages
164
Study plan
Dr.-Studium der technischen Wissenschaften (Dissertationsgebiet: Informatik, IK: Computational Science)
[UA]
[786]
[880]
Association (deu)
Title (eng)
Optical flow on evolving manifolds with an application to the analysis of fluorescence microscopy data
Parallel title (deu)
Optischer Fluss auf bewegten Mannigfaltigkeiten mit einer Anwendung zur Analyse von Fluoreszenzmikroskopiedaten
Author
Lukas Lang
Abstract (deu)
Die Bestimmung von Bewegungen in Videos ist ein allgegenwärtiges Ziel im Gebiet der mathematischen Bildanalyse und der Computer Vision.
Ein zentrales Anliegen stellt die Berechnung des optischen Flusses in einer Bildsequenz dar.
Dessen erklärtes Ziel ist es, aus Fluktuationen der Bildintensität ein Vektorfeld zu bestimmen welches die Bewegungen von Objekten in einer aufgenommenen Szene erfasst.
Üblicherweise wird der optische Fluss in planaren Bildsequenzen bestimmt.
Generalisierungen auf nichteuklidische Räume ermöglichen beispielsweise die Analyse von Zellbewegungen in Zeitraffer-Mikroskopaufnahmen.
Fluoreszenzmikroskopie erlaubt heutzutage hochauflösende Beobachtungen von biologischen Modellorganismen wie zum Beispiel dem Zebrafisch.
Trotz wesentlicher Bedeutung für die Organ- und Gewebebildung ist nur wenig bekannt hinsichtlich der Bewegungs- und Proliferationsmuster von Zellen während dessen frühen Entwicklungsstadiums.
Die Beantwortung vieler Fragen bezüglich dieser Aspekte basiert auf dem Wissen um Zellbewegungen.
Steigende räumliche und zeitliche Auflösung von bildgebenden Verfahren und die dabei entstehenden beachtlichen Datenmengen machen die manuelle, von Menschen durchgeführte Bildanalyse, impraktikabel.
Automatische Auswertung ist unausweichlich um Zellbewegungen in den oben erwähnten Mikroskopdaten zu verfolgen.
Die Bestimmung des optischen Flusses trägt zur Erforschung von Zellmechanismen und dem dynamischen Verhalten von Zellen bei und liefert das dazu notwendige quantitative Verfahren.
Die primäre biologische Motivation für diese Dissertation ist der Wunsch, Zellbewegungen in einem lebenden Zebrafischembryo während dessen Embryogenese zu analysieren.
Die vorliegenden Bilddaten zeigen endoderme Zellen, welche mit einem grün fluoreszierenden Protein markiert wurden.
Anhand eines Laser-Scanning-Mikroskops lassen sich vierdimensionale Bildsequenzen von den markierten Zellen aufnehmen.
Während des frühen Entwicklungsstadiums des Zebrafisches formen endoderme Zellen einen sogenannten Monolayer.
Dies bedeutet, dass Zellen dieses Typs nebeneinander auf einer gekrümmten Oberfläche angeordnet sind.
Die wesentliche Idee dieser Dissertation ist es, diesen Umstand zu nützen und diese Schicht als bewegte zweidimensionale Oberfläche zu modellieren und Zellbewegungen nur bezüglich dieser sich deformierenden Mannigfaltigkeit zu betrachten.
Da sich die räumliche Dimension verringert, folgt daraus als Konsequenz eine Reduzierung der zu untersuchenden Datenmenge und ermöglicht so eine effiziente Bewegungsanalyse in den obengenannten Bildsequenzen.
In dieser Dissertation formulieren wir die Bestimmung von Zellbewegungen als Variationsproblem und behandeln den optischen Fluss auf einer bewegten zweidimensionalen Mannigfaltigkeit.
Je nach Wahl der Geometrie liegen verschiedene Approximationen zugrunde.
Im ersten Teil der Arbeit nehmen wir die Oberfläche des Embryos als veränderlich an und übertragen das (Tikhonov-regularisierte) Horn-Schunck-Funktional und dessen raumzeitliche Generalisierung von Weickert und Schnörr auf dieses nichteuklidische und dynamische Szenario.
Im zweiten Teil widmen wir uns der Topologie des Embryos.
Zuerst nehmen wir an, es sei eine statische Kugel und untersuchen verschiedene Zerlegungsfunktionale für Vektorfelder.
Wir orientieren uns an aktuellen Trends in der Bildzerlegung und ergründen u+v und hierarchische Zerlegungsmodelle für den optischen Fluss.
Die gewählte numerische Optimierungsmethode approximiert die Lösung in einem endlich-dimensionalen Raum aufgespannt durch Vektor Spherical Harmonics.
Daraus ergibt sich der Vorteil großer Flexibilität bezüglich der Regularisierungsfunktionale und eine automatische Helmholtz-Zerlegung des Flussfelds.
Ferner widmen wir uns der genaueren geometrischen Modellierung des Zebrafischembryos.
Wir betrachten diesen als sphärenähnliche Oberfläche, die sich im Laufe der Entwicklung des Embryos verformt.
Zu diesem Zwecke erweitern wir das Optische-Fluss-Funktional von Lefèvre und Baillet um das Szenario einer veränderlichen sphärenähnlichen Mannigfaltigkeit.
Das Variationsproblem lösen wir anhand einer Galerkinmethode basierend auf tangentialer Vector Spherical Harmonics.
Um die sphärenähnliche Oberfläche aus den Mikroskopiedaten zu bestimmen, formulieren wir dieses Problem ebenfalls als Variationsproblem und lösen dieses mittels Expansion in skalaren Spherical Harmonics.
Schlussendlich präsentieren wir numerische Ergebnisse basierend auf den obengenannten Zellmikroskopiedaten eines lebenden Zebrafischembryos und veranschaulichen diese mit adäquaten Visualisierungsmethoden.
Abstract (eng)
Motion estimation is an omnipresent goal in image analysis and computer vision.
An important task within is optical flow computation in a sequence of images.
It addresses the issue of inferring a vector field from intensity variations, thereby describing the displacements of moving objects.
Typically, optical flow is computed in the plane but is readily generalised to non-Euclidean settings allowing, for instance, for cell motion analysis in time-lapse microscopy data.
Today, fluorescence microscopy enables high-resolution observations of biological model organisms, such as the zebrafish, on the scale of single cells.
Despite its importance for tissue and organ formation, only little is known about cell migration and proliferation patterns during the zebrafish's early embryonic development.
Many of the questions raised involve estimating cell motion.
In view of increasing spatial as well as temporal resolutions resulting in tremendous amounts of data, manual analysis through visual inspection by humans is impracticable.
Therefore, automated cell motion estimation is key to the large-scale analysis of above-mentioned data.
Optical flow delivers quantitative methods and leads to insights into underlying cellular mechanisms and the dynamic behaviour of cells.
The primary biological motivation for this thesis is the desire to analyse cell motion in a living zebrafish embryo during early embryogenesis.
The data at hand depict endodermal cells expressing a green fluorescence protein.
Laser-scanning microscopy allows recording (volumetric time-lapse) 4D images of these labelled cells without capturing the background.
During early development these cells float on a so-called monolayer, meaning that they form a round surface in a single layer.
We exploit this situation and model this layer as a two-dimensional surface deforming over time.
The main idea of this thesis is to conceive cell motion only on this evolving surface.
As a direct consequence, one is able to reduce the spatial dimension of the data, resulting in more efficient motion estimation of afore-mentioned microscopy data.
We formulate the problem of cell motion analysis as a variational optical flow problem on evolving two-dimensional manifolds.
Naturally, this surface is subject to geometrical approximations.
In the first part, we focus on the embryo's changing geometry and assume that the cells' layer deforms over time.
To this end, we translate the original (Tikhonov-regularised) Horn-Schunck functional and the spatio-temporal extension by Weickert and Schnörr to this non-Euclidean and dynamic setting.
In the second part of this thesis, we pay close attention the topology of the embryo's surface.
First, we assume that it is a static round sphere and investigate several vector field decomposition functionals.
In particular, we follow recent trends in image decomposition and study u+v and hierarchical decomposition models for optical flow.
The chosen numerical method solves the problem in a finite-dimensional space spanned by tangential vector spherical harmonics and is advantageous in two ways.
It provides great flexibility with respect to the regularisation functionals and, as a by-product, yields a Helmholtz decomposition of the flow field.
Second, we consider a more appropriate geometrical model for the zebrafish's embryo, namely evolving sphere-like surfaces.
These surfaces can be parametrised from the 2-sphere and constitute a more natural approximation of the embryo's shape.
We extend the optical flow functional of Lefèvre and Baillet for surfaces embedded in R^3 to this new setting.
The variational problem is solved by means of a Galerkin method based on tangential vector spherical harmonics.
In order to find the sphere-like surfaces from cell microscopy data we devise a method for surface interpolation by means of scalar spherical harmonics expansion.
Finally, we present numerical results on the basis of the afore-mentioned cell microscopy data of a live zebrafish and picture the results in a visually adequate manner.
Keywords (eng)
Optical flowevolving surfacessphere-like surfacesvariational methodsvector field decompositionbiomedical imagingcomputer vision
Keywords (deu)
Optischer Flussbewegte Mannigfaltigkeitensphärenähnliche OberflächenVariationsmethodenVektorfeldzerlegungbiomedizinische Bildverarbeitungmaschinelles Sehen
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1319238
Number of pages
164
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0