Title (eng)
Minimax problems and clustering for regression via neural networks
Parallel title (deu)
Minimax Probleme und Clustering für Regression mit neuronalen Netzwerken
Author
Daniel <<de>> Vicente Jiang
Advisor
Arnold Neumaier
Assessor
Arnold Neumaier
Abstract (deu)
Jede stetige Funktion kann durch ein künstliches neuronales Netzwerk in einer kompakten Menge beliebig gut approximiert werden. Deswegen haben wir in dieser Thesis versucht, die Poisson-Gleichung numerisch in zwei Dimensionen mithilfe von künstlichen neuronalen Netzen zu lösen. In der Literatur bestand der neuronale Netzwerk Ansatz aus Minimierung der quadratischen Verlustfunktion über den Trainingset mit dem Gradientenverfahren. Motiviert durch die robuste Optimierung haben wir einen anderen Ansatz verwendet, der das Minimierungsproblem in ein Minimaxproblem umwandelt. In jeder Iteration wurde eine Folge von angenäherten Minimaxproblemen gelöst. Wir haben Punkte gesucht, bei denen die Annäherung am schlechtesten war und diese mithilfe des k-Means-Algorithmuses geclustered. Außerdem haben wir weitere Punkte in einer geeigneten Umgebung der Centroide zufällig ausgewählt, um das nächste Trainingsset zu finden. Die Lösung des Minimaxproblems lieferte die Gewichte eines neuronalen Netzwerkes, das die exakte Lösung der Poisson-Gleichung mit einem Fehler von zirka 10%.
Abstract (eng)
Artificial neural networks can approximate any continuous function over a compact set arbitrarily well. Therefore, in this thesis we have attempted to numerically solve the Poisson equation in two dimensions using artificial neural networks. In the literature, the neural network approach has always consisted of minimizing the quadratic loss function over the training set using gradient descent. Motivated by robust optimization, we propose a new approach which transforms the minimization into a minimax problem. At each iteration, a sequence of approximate minimax problems is solved. We examined where the approximation failed the most and clustered those values using the k-means algorithm. To select the new training set we randomly sampled in a neighbourhood of the centroids obtained by k-means. The final solution of the minimax problem yielded the weights of a neural network that approximated the exact solution of the Poisson equation with an error of around 10%.
Keywords (deu)
machinelles LernenClusteringk-meansRegressionneuronale Netzwerkerobuste OptimierungMinimax-Probleme
Keywords (eng)
machine learningclusteringk-meansregressionneural networksrobust optimizationminimax problems
Subject (deu)
Type (deu)
Persistent identifier
Extent (deu)
60 Seiten : Illustrationen
Number of pages
60
Study plan
Masterstudium Mathematik
[UA]
[066]
[821]
Association (deu)
Title (eng)
Minimax problems and clustering for regression via neural networks
Parallel title (deu)
Minimax Probleme und Clustering für Regression mit neuronalen Netzwerken
Author
Daniel <<de>> Vicente Jiang
Abstract (deu)
Jede stetige Funktion kann durch ein künstliches neuronales Netzwerk in einer kompakten Menge beliebig gut approximiert werden. Deswegen haben wir in dieser Thesis versucht, die Poisson-Gleichung numerisch in zwei Dimensionen mithilfe von künstlichen neuronalen Netzen zu lösen. In der Literatur bestand der neuronale Netzwerk Ansatz aus Minimierung der quadratischen Verlustfunktion über den Trainingset mit dem Gradientenverfahren. Motiviert durch die robuste Optimierung haben wir einen anderen Ansatz verwendet, der das Minimierungsproblem in ein Minimaxproblem umwandelt. In jeder Iteration wurde eine Folge von angenäherten Minimaxproblemen gelöst. Wir haben Punkte gesucht, bei denen die Annäherung am schlechtesten war und diese mithilfe des k-Means-Algorithmuses geclustered. Außerdem haben wir weitere Punkte in einer geeigneten Umgebung der Centroide zufällig ausgewählt, um das nächste Trainingsset zu finden. Die Lösung des Minimaxproblems lieferte die Gewichte eines neuronalen Netzwerkes, das die exakte Lösung der Poisson-Gleichung mit einem Fehler von zirka 10%.
Abstract (eng)
Artificial neural networks can approximate any continuous function over a compact set arbitrarily well. Therefore, in this thesis we have attempted to numerically solve the Poisson equation in two dimensions using artificial neural networks. In the literature, the neural network approach has always consisted of minimizing the quadratic loss function over the training set using gradient descent. Motivated by robust optimization, we propose a new approach which transforms the minimization into a minimax problem. At each iteration, a sequence of approximate minimax problems is solved. We examined where the approximation failed the most and clustered those values using the k-means algorithm. To select the new training set we randomly sampled in a neighbourhood of the centroids obtained by k-means. The final solution of the minimax problem yielded the weights of a neural network that approximated the exact solution of the Poisson equation with an error of around 10%.
Keywords (deu)
machinelles LernenClusteringk-meansRegressionneuronale Netzwerkerobuste OptimierungMinimax-Probleme
Keywords (eng)
machine learningclusteringk-meansregressionneural networksrobust optimizationminimax problems
Subject (deu)
Type (deu)
Persistent identifier
Number of pages
60
Association (deu)
License
- Citable links
- Other links
- Managed by
- Details
- Usage statistics-
- Metadata
- Export formats