Title (eng)
Approximation capabilities of deep ReLU neural networks
Parallel title (deu)
Approximationsvermögen von tiefen ReLU neuralen Netzwerken
Author
Dennis Maximillian Elbrächter
Advisor
Philipp Grohs
Assessor
Johannes Schmidt-Hieber
Reinhold Schneider
Abstract (deu)
Diese Thesis besteht aus einer Reihe von Publikationen die das Approximations-vermögen von tiefen ReLU Netzwerken untersuchen. Abstrakt gesehen, konstituieren sie parametrisierte Modelklassen für nichtlineare Approximation bei der die Parameter eine Folge von affinen Transformationen definieren aus welchen die korrespondierende Funktion erzeugt wird als Komposition dieser affinen Transformationen, wobei eine simple parameter-unabhängige Funktion zwichen jeweils zwei davon zwichengeschaltet wird. Diese Struktur stellt sicher, dass jede Komposition von Funktionen, die individuell effizient durch tiefe ReLU Netzwerke approximiert werden können, im Ganzen effizient durch tiefe ReLU Netzwerke approximiert werden kann. Wie in dieser Thesis gezeigt wird stellt sich dies als ein vielseitiges und mächtiges Werkzeug heraus. Unter anderem wird es verwendet um zu etablieren dass tiefe ReLU Netzwerke fähig sind Lösungen hochdimensionaler partieller Differentialgleichungen zu approximieren mit einer Anzahl von Parametern die nur polynomiell von der Dimension abhängt. Desweiteren wird gezeigt, dass sie, in einem Raten-Verzerrungs Sinn, mindestens so gut darin sind eine gegebene Funktionenklasse zu approximieren wie jedes klassische affine oder Weyl-Heisenberg Wörterbuch (z.B. Wavelet oder Gabor Frame), unter milden Anforderungen an ihre Generatorfunktionen. Letztlich wird ein Ansatz beschrieben welcher das Approximationsvermögen von neuralen Netzwerken verwendet um Szenarien zu bestimmen in welchen die Optimierungslandschaft beim Trainieren neuraler Netzwerke keine schlechten lokalen Minima hat.
Abstract (eng)
This thesis contains a series of papers which explore the approximation capabilities of deep ReLU networks. Abstractly speaking they constitute parametrized model classes for nonlinear approximation, where the parameters define a sequence of affine transformations from which the corresponding function is obtained as the composition of these affine transformations with a simple parameter-independent nonlinear function interjected between every two of them. This structure ensures that any composition of functions which individually can be efficiently approximated by deep ReLU networks can itself be efficiently approximated by them. As shown in the thesis, this turns out to be a very versatile and powerful tool. Among other things it is used to establish that deep ReLU networks are capable of approximating the solutions to certain high dimensional partial differential equations with a number of parameters which depends only polynomially on the dimension. Furthermore it is shown that, in a rate-distortion sense, they are at least as good at approximating a given function class as any classical affine or Weyl-Heisenberg dictionary (e.g. wavelet or Gabor frame) under rather mild conditions on their generator functions. Lastly, a novel approach is developed which makes use of approximation capabilities of neural networks to determine scenarios in which the optimization landscape in neural network training does not have bad local minima.
Keywords (eng)
-
Keywords (deu)
-
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1395725
rdau:P60550 (deu)
1 Band (verschiedene Seitenzählungen)
Number of pages
1576
Association (deu)
Title (eng)
Approximation capabilities of deep ReLU neural networks
Parallel title (deu)
Approximationsvermögen von tiefen ReLU neuralen Netzwerken
Author
Dennis Maximillian Elbrächter
Abstract (deu)
Diese Thesis besteht aus einer Reihe von Publikationen die das Approximations-vermögen von tiefen ReLU Netzwerken untersuchen. Abstrakt gesehen, konstituieren sie parametrisierte Modelklassen für nichtlineare Approximation bei der die Parameter eine Folge von affinen Transformationen definieren aus welchen die korrespondierende Funktion erzeugt wird als Komposition dieser affinen Transformationen, wobei eine simple parameter-unabhängige Funktion zwichen jeweils zwei davon zwichengeschaltet wird. Diese Struktur stellt sicher, dass jede Komposition von Funktionen, die individuell effizient durch tiefe ReLU Netzwerke approximiert werden können, im Ganzen effizient durch tiefe ReLU Netzwerke approximiert werden kann. Wie in dieser Thesis gezeigt wird stellt sich dies als ein vielseitiges und mächtiges Werkzeug heraus. Unter anderem wird es verwendet um zu etablieren dass tiefe ReLU Netzwerke fähig sind Lösungen hochdimensionaler partieller Differentialgleichungen zu approximieren mit einer Anzahl von Parametern die nur polynomiell von der Dimension abhängt. Desweiteren wird gezeigt, dass sie, in einem Raten-Verzerrungs Sinn, mindestens so gut darin sind eine gegebene Funktionenklasse zu approximieren wie jedes klassische affine oder Weyl-Heisenberg Wörterbuch (z.B. Wavelet oder Gabor Frame), unter milden Anforderungen an ihre Generatorfunktionen. Letztlich wird ein Ansatz beschrieben welcher das Approximationsvermögen von neuralen Netzwerken verwendet um Szenarien zu bestimmen in welchen die Optimierungslandschaft beim Trainieren neuraler Netzwerke keine schlechten lokalen Minima hat.
Abstract (eng)
This thesis contains a series of papers which explore the approximation capabilities of deep ReLU networks. Abstractly speaking they constitute parametrized model classes for nonlinear approximation, where the parameters define a sequence of affine transformations from which the corresponding function is obtained as the composition of these affine transformations with a simple parameter-independent nonlinear function interjected between every two of them. This structure ensures that any composition of functions which individually can be efficiently approximated by deep ReLU networks can itself be efficiently approximated by them. As shown in the thesis, this turns out to be a very versatile and powerful tool. Among other things it is used to establish that deep ReLU networks are capable of approximating the solutions to certain high dimensional partial differential equations with a number of parameters which depends only polynomially on the dimension. Furthermore it is shown that, in a rate-distortion sense, they are at least as good at approximating a given function class as any classical affine or Weyl-Heisenberg dictionary (e.g. wavelet or Gabor frame) under rather mild conditions on their generator functions. Lastly, a novel approach is developed which makes use of approximation capabilities of neural networks to determine scenarios in which the optimization landscape in neural network training does not have bad local minima.
Keywords (eng)
-
Keywords (deu)
-
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1395726
Number of pages
1576
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0