You are here: University of Vienna PHAIDRA Detail o:2064473
Title (eng)
Artificial intelligence for airborne phenotyping
Author
Lorenzo Beltrame
Adviser
Sebastian Tschiatschek
Assessor
Sebastian Tschiatschek
Abstract (deu)

In dieser Arbeit wird die Anwendung von Techniken des maschinellen Lernens (ML) für die Phänotypisierung unter Verwendung multispektraler und multitemporaler Daten aus der Luft untersucht, wobei der Schwerpunkt auf der Identifizierung von Gelbrost bei Weizen liegt. Das Hauptziel besteht darin, die Wirksamkeit der ML-basierten Phänotypisierung aus der Luft als Alternative zu herkömmlichen in-situ-Methoden zu bewerten. Ein bahnbrechender Aspekt dieser Studie ist die Erstellung eines neuartigen Datensatzes mit multispektralen Zeitreihenbildern, die jeweils eine Versuchsparzelle in einem Weizenfeld zeigen, zusammen mit entsprechenden Gelbrost Krankheitsbewertungen durch Experten. Anschließend wird eine vergleichende Analyse zwischen verschiedenen grundlegenden ML-Modellen und Deep-Learning-Modellen zur Vorhersage von Gelbrost anhand des Datensatzes durchgeführt. Unsere Ergebnisse zeigen die Herausforderungen, denen sich ML-Basismodelle bei der genauen Vorhersage von Gelbrost gegenübersehen, im Gegensatz zu den vielversprechenden Ergebnissen eines Deep-Learning-Modells, das den Merkmalsextraktor ResNet34 verwendet. Diese Ergebnisse unterstreichen das Potenzial von ML-Ansätzen bei der Fernphänotypisierung für die Pflanzenzüchtung, insbesondere wenn Deep-Learning-Modelle mit Aufmerksamkeitsmechanismen integriert werden. Die Studie liefert wertvolle Einblicke in die Techniken der Phänotypisierung aus der Ferne, was sich auf die Verbesserung der Krankheitsüberwachung und der Anbaupraktiken auswirkt. Allerdings ist eine weitere Verfeinerung erforderlich. Die beobachtete geringere Leistung bei einem der Testsätze deutet auf einen Mangel an Daten hin, die für die Gewährleistung der Robustheit des Modells und seiner Verallgemeinerungsfähigkeit unerlässlich sind. Künftige Forschungsarbeiten könnten zusätzliche Spektralindizes und die automatische Auswahl von Spektralbändern untersuchen. Schließlich könnte das Modell mit mehr Daten auch so trainiert werden, dass es robuster gegenüber beliebigen Zeitschritten ist, was eine entscheidende Eigenschaft für seine praktische Anwendbarkeit ist.

Abstract (eng)

This thesis explores the application of machine learning (ML) techniques for phenotyping using multispectral and multitemporal airborne data, focusing on the identification of yellow rust in wheat. The primary aim is to evaluate the efficacy of aerial ML-based phenotyping as an alternative to traditional in situ methods. A pioneering aspect of this study is the creation of a novel dataset comprising time series multispectral images, each depicting an experimental plot within a wheat field, alongside corresponding yellow rust disease scores provided by experts. A comparative analysis is then conducted between various basic ML models and deep learning models to predict yellow rust using the dataset. Our findings reveal the challenges faced by basic ML models in accurately predicting yellow rust, contrasting with the promising results achieved by a deep learning model utilising the ResNet34 feature extractor. These results underscore the potential of ML approaches in remote phenotyping for plant breeding, particularly when integrating deep learning models with attention mechanisms. The study provides valuable insights into remote phenotyping techniques, with implications for enhancing disease monitoring and crop management practices. However, further refinement is necessary. The observed lower performance on one of the test sets suggests a scarcity of data essential for ensuring model robustness and generalisation capabilities. Future research could explore additional spectral indices and automated spectral band selection. Finally, with more data, the model could also be trained to be more robust to arbitrary time steps, a critical property for its practical usability.

Keywords (deu)
Vorhersage des PhänotypsDeep LearningMultispektrale DatenGelbrostkrankheitMaschinelles Lernen für die Landwirtschaft
Keywords (eng)
Phenotype PredictionDeep LearningMultispectral DataYellow RustMachine Learning for Agriculture
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:2064473
rdau:P60550 (deu)
138 Seiten : Illustrationen
Number of pages
139
Study plan
Masterstudium Data Science
[UA]
[066]
[645]
Association (deu)
Members (1)
Title (eng)
Artificial intelligence for airborne phenotyping
Author
Lorenzo Beltrame
Abstract (deu)

In dieser Arbeit wird die Anwendung von Techniken des maschinellen Lernens (ML) für die Phänotypisierung unter Verwendung multispektraler und multitemporaler Daten aus der Luft untersucht, wobei der Schwerpunkt auf der Identifizierung von Gelbrost bei Weizen liegt. Das Hauptziel besteht darin, die Wirksamkeit der ML-basierten Phänotypisierung aus der Luft als Alternative zu herkömmlichen in-situ-Methoden zu bewerten. Ein bahnbrechender Aspekt dieser Studie ist die Erstellung eines neuartigen Datensatzes mit multispektralen Zeitreihenbildern, die jeweils eine Versuchsparzelle in einem Weizenfeld zeigen, zusammen mit entsprechenden Gelbrost Krankheitsbewertungen durch Experten. Anschließend wird eine vergleichende Analyse zwischen verschiedenen grundlegenden ML-Modellen und Deep-Learning-Modellen zur Vorhersage von Gelbrost anhand des Datensatzes durchgeführt. Unsere Ergebnisse zeigen die Herausforderungen, denen sich ML-Basismodelle bei der genauen Vorhersage von Gelbrost gegenübersehen, im Gegensatz zu den vielversprechenden Ergebnissen eines Deep-Learning-Modells, das den Merkmalsextraktor ResNet34 verwendet. Diese Ergebnisse unterstreichen das Potenzial von ML-Ansätzen bei der Fernphänotypisierung für die Pflanzenzüchtung, insbesondere wenn Deep-Learning-Modelle mit Aufmerksamkeitsmechanismen integriert werden. Die Studie liefert wertvolle Einblicke in die Techniken der Phänotypisierung aus der Ferne, was sich auf die Verbesserung der Krankheitsüberwachung und der Anbaupraktiken auswirkt. Allerdings ist eine weitere Verfeinerung erforderlich. Die beobachtete geringere Leistung bei einem der Testsätze deutet auf einen Mangel an Daten hin, die für die Gewährleistung der Robustheit des Modells und seiner Verallgemeinerungsfähigkeit unerlässlich sind. Künftige Forschungsarbeiten könnten zusätzliche Spektralindizes und die automatische Auswahl von Spektralbändern untersuchen. Schließlich könnte das Modell mit mehr Daten auch so trainiert werden, dass es robuster gegenüber beliebigen Zeitschritten ist, was eine entscheidende Eigenschaft für seine praktische Anwendbarkeit ist.

Abstract (eng)

This thesis explores the application of machine learning (ML) techniques for phenotyping using multispectral and multitemporal airborne data, focusing on the identification of yellow rust in wheat. The primary aim is to evaluate the efficacy of aerial ML-based phenotyping as an alternative to traditional in situ methods. A pioneering aspect of this study is the creation of a novel dataset comprising time series multispectral images, each depicting an experimental plot within a wheat field, alongside corresponding yellow rust disease scores provided by experts. A comparative analysis is then conducted between various basic ML models and deep learning models to predict yellow rust using the dataset. Our findings reveal the challenges faced by basic ML models in accurately predicting yellow rust, contrasting with the promising results achieved by a deep learning model utilising the ResNet34 feature extractor. These results underscore the potential of ML approaches in remote phenotyping for plant breeding, particularly when integrating deep learning models with attention mechanisms. The study provides valuable insights into remote phenotyping techniques, with implications for enhancing disease monitoring and crop management practices. However, further refinement is necessary. The observed lower performance on one of the test sets suggests a scarcity of data essential for ensuring model robustness and generalisation capabilities. Future research could explore additional spectral indices and automated spectral band selection. Finally, with more data, the model could also be trained to be more robust to arbitrary time steps, a critical property for its practical usability.

Keywords (deu)
Vorhersage des PhänotypsDeep LearningMultispektrale DatenGelbrostkrankheitMaschinelles Lernen für die Landwirtschaft
Keywords (eng)
Phenotype PredictionDeep LearningMultispectral DataYellow RustMachine Learning for Agriculture
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:2066047
Number of pages
139
Association (deu)