Title (eng)
Machine learning methods for the prediction of micromagnetic magnetization dynamics
Parallel title (deu)
Maschinelle Lernmethoden zur Vorhersage von mikromagnetischer Magnetisierungsdynamik
Author
Sebastian Alexander Schaffer
Advisor
Norbert Mauser
Co-Advisor
Lukas Exl
Assessor
Norbert Mauser
Abstract (deu)
Diese Masterarbeit behandelt einen datengetriebenen ("data-driven") Ansatz zum Lösen von zeitabhängigen PDEs. Im Speziellen werden Methoden zur Modellreduktion und maschinellen Lernen für die schnelle Abschätzung der Magnetisierungsdynamik in Abhängigkeit zum äußeren Feld entwickelt und angewandt, welche durch die Landau-Lifschitz-Gilbert (LLG) Gleichung, die fundamentale partielle Bewegungs-Differentialgleichung im Feld des Mikromagnetismus, modelliert wird. Die Arbeit beschreibt die Theorie von bestimmten Modellreduktionsmethoden, sowie nicht lineare Regressionsmodelle, zum Zweck des effizienten maschinellen Lernens der Lösungstrajektorien der LLG-Gleichung als parameterabhängige PDE. Ein Schwerpunkt lieg bei Kernel-Methoden, mit dem Fokus auf numerisch stabile und effiziente Implementierung von Kernel Ridge-Regression (kRR) und der Kernel-Haupt- komponentenanalyse (kPCA) mit einem modernen Niedrig-Rang-Approximationsverfahren zur Behandlung von bestimmten dichten Operatoren. Viele dieser Verfahren berechnen die Abbildung der Daten in einem anderen Funktionsraum, daher ist die Urbild-Berechnung essenziell. Im Zuge dieser Arbeit wird ein "supervised learning" Prozess vorgestellt, der wiederum auf Kernel Ridge-Regression beruht.
Nach Darlegung dieser Grundlagen, wird eine iterative Lösung des Kernel-Dependency-Estimation Algorithmus (KDE) hergeleitet und, basierend darauf, ein explizites Mehrschritt-Verfahren entwickelt welches ausschließlich im abgeleiteten Funktionsraum operiert und die komplizierte Magnetisierungsdynamik in einem reduzierten Raum erlernt. Dieser Algorithmus ermöglicht eine schnelle Vorhersage der Lösung mit einer ähnlichen Genauigkeit wie KDE. Weiters wird die Datenstruktur dieser Methode diskutiert, sowie die nötige Speicherkapazität verglichen. Die Implementierung erfolgte mit dem numpy und scikit-lern Python Modulen, und Simulationen wurden teilweise auf dem Vienna Scientific Cluster (VSC) gerechnet.
In einem zweiten Teil der Arbeit wird die Hauptkomponentenanalyse mit einem neuronalen Autoencoder zur Dimensionsreduktion des Datensatzes verglichen. Wir legen den Fokus auf eine glatte Beschreibung des Funktionsraumes mithilfe eines regularisierenden Terms eines kontraktiven Autoencoders. Es stellt sich heraus, dass die Funktionsraumbeschreibung des Autoencodes besser ist als die der kPCA und mithilfe einer zukunftsgerichteten Zielfunktion kann ein neuronales Regressions-Netzwerk trainiert, und damit die KRR ersetzt werden. Mithilfe des Keras und Tensorflow Moduls, und mittels automatischen Differenzierens, ist es möglich diese sehr komplizierten Optimierungsprobleme zu lösen.
Im Falle der Kernel Methoden bietet das explizite Funktionsraumintegrationsschema einen einfachen Trainingsprozess mit expliziter Lösung des aufkommenden Optimierungsproblems. Dies ist schwieriger im Falle des neuronalen Netzwerkes und erfordert fortschrittliche stochastische Optimieralgorithmen mit adaptiver Momentabschätzung. Im Speziellen wird der Adam Optimieralgorithmus verwendet. Mithilfe von Cross-Validation wird eine Serie von Modellvalidierungs- und Hyperparameterschätzungsaufgaben durchgeführt und es stellt sich heraus, dass diese Methoden einen teils überwachten Trainingsprozess bieten, der darüber hinaus auch einen beachtlich kleineren Rechenaufwand erfordert als andere Lösungsmethoden.
Diese Arbeit ist thematisch an der Spitze der derzeitigen Forschung im Bereich von Computational Physics, und es wurden im Zuge dieser Arbeit zwei Preprints zu international anerkannten und peer-reviewed Journalen eingereicht, wovon bis dato bereits einer zur Publikation akzeptiert wurde.
Abstract (eng)
This master's thesis studies a data-driven approach for the prediction of time-dependent PDEs. In particular, we are interested in model reduction methods and machine learning for fast response curve estimation modeled by the (parameter-dependent) Landau-Lifschitz- Gilbert (LLG) equation, the fundamental partial differential equation of motion in the field of micromagnetics. The work on the thesis consists of a theoretical conception of certain dimensionality reduction methods as well as nonlinear regression schemes for efficient machine learning of the solution trajectories of the LLG equation. Specifically, kernel methods will be studied with a focus on numerically stable and efficient implementation of Kernel Ridge Regression (KRR) and Kernel Principal Component Analysis (kPCA) with (novel) low-rank treatment of certain dense operators. Many algorithms map the data to another feature space. Pre-image computation is an essential element in the course of this work. Therefore, we discuss a supervised approach utilizing Kernel Ridge Regression.
With all those elements in mind, we derive an iterative solution to Kernel Dependency Estimation (KDE) and further develop an explicit multistep feature space integration scheme capable of learning the complicated magnetization dynamics in a reduced dimensional space. This algorithm offers fast prediction with similar accuracy as KDE. We discuss the data structure for this task and have a look at storage requirements for different approaches. For the implementation, we use the numpy and scikit-learn python modules, and simulations were partially computed on the Vienna Scientific Cluster (VSC).
As a comparative analysis, a second part deals with neural network autoencoders for dimensionality reduction for the data sets with a focus on smooth latent space variable description with the help of regularization in contractive autoencoders. We find that the latent space description of the autoencoder is more powerful than the one offered by kernel principal component analysis. Further, a forward-looking objective function is used to train a neural network regression scheme to replace the kRR. Using Keras and Tensorflow, with automated differentiation we are able to perform optimization of very difficult objective functions.
In the case of kernel methods, the explicit feature space integration scheme offers an easy training process with explicit solutions to arising optimization problems. This becomes more difficult in the case of neural networks and requires advanced stochastic optimizers with adaptive moment estimation. We use the Adam optimization algorithm for this pur- pose. Using cross-validation, we perform a series of model validation and hyper-parameter estimation tasks and find that these methods offer a semi-supervised learning method with considerably lower computational cost than other approaches.
The thesis is thematically at the forefront of current research in computational physics/mathematics and in the course of this thesis, two preprints were submitted to internationally accepted and peer-reviewed journals while, up until now, one has been accepted.
Keywords (eng)
deep neural networksnonlinear model order and dimensionality reductionregularized autoencoderslow-rank approximationkernel methodscomputational micromagnetism
Keywords (deu)
neuronale Netzwerkenichtlineare Dimensionsreduktionregularisierte AutoencoderNiedrig-Rang-ApproximationsverfahrenKernel-Methodencomputergestützter Mikromagnetismus
Subject (deu)
Subject (deu)
Subject (deu)
Subject (deu)
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1366606
rdau:P60550 (deu)
68 Seiten : Illustrationen, Diagramme
Number of pages
80
Association (deu)
Title (eng)
Machine learning methods for the prediction of micromagnetic magnetization dynamics
Parallel title (deu)
Maschinelle Lernmethoden zur Vorhersage von mikromagnetischer Magnetisierungsdynamik
Author
Sebastian Alexander Schaffer
Abstract (deu)
Diese Masterarbeit behandelt einen datengetriebenen ("data-driven") Ansatz zum Lösen von zeitabhängigen PDEs. Im Speziellen werden Methoden zur Modellreduktion und maschinellen Lernen für die schnelle Abschätzung der Magnetisierungsdynamik in Abhängigkeit zum äußeren Feld entwickelt und angewandt, welche durch die Landau-Lifschitz-Gilbert (LLG) Gleichung, die fundamentale partielle Bewegungs-Differentialgleichung im Feld des Mikromagnetismus, modelliert wird. Die Arbeit beschreibt die Theorie von bestimmten Modellreduktionsmethoden, sowie nicht lineare Regressionsmodelle, zum Zweck des effizienten maschinellen Lernens der Lösungstrajektorien der LLG-Gleichung als parameterabhängige PDE. Ein Schwerpunkt lieg bei Kernel-Methoden, mit dem Fokus auf numerisch stabile und effiziente Implementierung von Kernel Ridge-Regression (kRR) und der Kernel-Haupt- komponentenanalyse (kPCA) mit einem modernen Niedrig-Rang-Approximationsverfahren zur Behandlung von bestimmten dichten Operatoren. Viele dieser Verfahren berechnen die Abbildung der Daten in einem anderen Funktionsraum, daher ist die Urbild-Berechnung essenziell. Im Zuge dieser Arbeit wird ein "supervised learning" Prozess vorgestellt, der wiederum auf Kernel Ridge-Regression beruht.
Nach Darlegung dieser Grundlagen, wird eine iterative Lösung des Kernel-Dependency-Estimation Algorithmus (KDE) hergeleitet und, basierend darauf, ein explizites Mehrschritt-Verfahren entwickelt welches ausschließlich im abgeleiteten Funktionsraum operiert und die komplizierte Magnetisierungsdynamik in einem reduzierten Raum erlernt. Dieser Algorithmus ermöglicht eine schnelle Vorhersage der Lösung mit einer ähnlichen Genauigkeit wie KDE. Weiters wird die Datenstruktur dieser Methode diskutiert, sowie die nötige Speicherkapazität verglichen. Die Implementierung erfolgte mit dem numpy und scikit-lern Python Modulen, und Simulationen wurden teilweise auf dem Vienna Scientific Cluster (VSC) gerechnet.
In einem zweiten Teil der Arbeit wird die Hauptkomponentenanalyse mit einem neuronalen Autoencoder zur Dimensionsreduktion des Datensatzes verglichen. Wir legen den Fokus auf eine glatte Beschreibung des Funktionsraumes mithilfe eines regularisierenden Terms eines kontraktiven Autoencoders. Es stellt sich heraus, dass die Funktionsraumbeschreibung des Autoencodes besser ist als die der kPCA und mithilfe einer zukunftsgerichteten Zielfunktion kann ein neuronales Regressions-Netzwerk trainiert, und damit die KRR ersetzt werden. Mithilfe des Keras und Tensorflow Moduls, und mittels automatischen Differenzierens, ist es möglich diese sehr komplizierten Optimierungsprobleme zu lösen.
Im Falle der Kernel Methoden bietet das explizite Funktionsraumintegrationsschema einen einfachen Trainingsprozess mit expliziter Lösung des aufkommenden Optimierungsproblems. Dies ist schwieriger im Falle des neuronalen Netzwerkes und erfordert fortschrittliche stochastische Optimieralgorithmen mit adaptiver Momentabschätzung. Im Speziellen wird der Adam Optimieralgorithmus verwendet. Mithilfe von Cross-Validation wird eine Serie von Modellvalidierungs- und Hyperparameterschätzungsaufgaben durchgeführt und es stellt sich heraus, dass diese Methoden einen teils überwachten Trainingsprozess bieten, der darüber hinaus auch einen beachtlich kleineren Rechenaufwand erfordert als andere Lösungsmethoden.
Diese Arbeit ist thematisch an der Spitze der derzeitigen Forschung im Bereich von Computational Physics, und es wurden im Zuge dieser Arbeit zwei Preprints zu international anerkannten und peer-reviewed Journalen eingereicht, wovon bis dato bereits einer zur Publikation akzeptiert wurde.
Abstract (eng)
This master's thesis studies a data-driven approach for the prediction of time-dependent PDEs. In particular, we are interested in model reduction methods and machine learning for fast response curve estimation modeled by the (parameter-dependent) Landau-Lifschitz- Gilbert (LLG) equation, the fundamental partial differential equation of motion in the field of micromagnetics. The work on the thesis consists of a theoretical conception of certain dimensionality reduction methods as well as nonlinear regression schemes for efficient machine learning of the solution trajectories of the LLG equation. Specifically, kernel methods will be studied with a focus on numerically stable and efficient implementation of Kernel Ridge Regression (KRR) and Kernel Principal Component Analysis (kPCA) with (novel) low-rank treatment of certain dense operators. Many algorithms map the data to another feature space. Pre-image computation is an essential element in the course of this work. Therefore, we discuss a supervised approach utilizing Kernel Ridge Regression.
With all those elements in mind, we derive an iterative solution to Kernel Dependency Estimation (KDE) and further develop an explicit multistep feature space integration scheme capable of learning the complicated magnetization dynamics in a reduced dimensional space. This algorithm offers fast prediction with similar accuracy as KDE. We discuss the data structure for this task and have a look at storage requirements for different approaches. For the implementation, we use the numpy and scikit-learn python modules, and simulations were partially computed on the Vienna Scientific Cluster (VSC).
As a comparative analysis, a second part deals with neural network autoencoders for dimensionality reduction for the data sets with a focus on smooth latent space variable description with the help of regularization in contractive autoencoders. We find that the latent space description of the autoencoder is more powerful than the one offered by kernel principal component analysis. Further, a forward-looking objective function is used to train a neural network regression scheme to replace the kRR. Using Keras and Tensorflow, with automated differentiation we are able to perform optimization of very difficult objective functions.
In the case of kernel methods, the explicit feature space integration scheme offers an easy training process with explicit solutions to arising optimization problems. This becomes more difficult in the case of neural networks and requires advanced stochastic optimizers with adaptive moment estimation. We use the Adam optimization algorithm for this pur- pose. Using cross-validation, we perform a series of model validation and hyper-parameter estimation tasks and find that these methods offer a semi-supervised learning method with considerably lower computational cost than other approaches.
The thesis is thematically at the forefront of current research in computational physics/mathematics and in the course of this thesis, two preprints were submitted to internationally accepted and peer-reviewed journals while, up until now, one has been accepted.
Keywords (eng)
deep neural networksnonlinear model order and dimensionality reductionregularized autoencoderslow-rank approximationkernel methodscomputational micromagnetism
Keywords (deu)
neuronale Netzwerkenichtlineare Dimensionsreduktionregularisierte AutoencoderNiedrig-Rang-ApproximationsverfahrenKernel-Methodencomputergestützter Mikromagnetismus
Subject (deu)
Subject (deu)
Subject (deu)
Subject (deu)
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1366607
Number of pages
80
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0