Title (eng)
Predicting daily stock price movements using GPT-3.5-Turbo
Author
Michael Knaus
Advisor
Christian Westheide
Assessor
Christian Westheide
Abstract (deu)
In dieser Arbeit wird das Potenzial von GPT-3.5-Turbo zur Vorhersage von Aktienrenditen mittels Sentiment-Analyse von Nachrichtenüberschriften untersucht. Die Experimente dieser Studie lassen sich in zwei Teile gliedern. Im ersten Teil können die Ergebnisse von Lopez-Lira und Tang (2023) mit einer weitgehend äquivalenten Methodologie reproduziert werden, wenn auch in geringerer Größe. Es kann gefolgert werden, dass Aktienrenditen mit Hilfe von GPT-3.5-Turbo über einen eintägigen Zeitraum vorhergesagt werden können. Abgesehen von der Reproduktion der Ergebnisse von Lopez-Lira und Tang (2023) wird gezeigt, dass die Vorhersagbarkeit der Renditen auch im Jahr 2023 anhält. Sowohl Limits-to-Arbitrage als auch Underreaction to News scheinen eine Rolle bei der Erklärung der kumulativen Renditen einer selbstfinanzierenden Long-Short-Strategie zu spielen, jedoch ist der Effekt von Limits-to-Arbitrage stärker ausgeprägt. Die Vorhersagbarkeit ist größer bei Small Caps und bei Short-Trades und nur ein kleiner Teil der positiven Renditen scheint nach Transaktionskosten bestehen zu bleiben. Die Studie findet auch starke Belege dafür, dass ein Machine Learning Modell, das mit numerischen Daten trainiert ist, Large Language Models in dem Return Prediction Task dieser Studie ergänzen kann, wenn dieses Modell verwendet wird, um Nachrichtenüberschriften vor der Sentiment-Klassifizierung zu filtern. Im zweiten Teil dieser Studie werden drei verschiedene Optimierungsmethoden für Large Language Models getestet: Prompt Engineering, Few-Shot Learning und Fine-Tuning. Prompt Engineering ist ein kostengünstiger und relativ einfacher Ansatz zur Leistungsverbesserung im Prediction Task dieser Studie. Die Ergebnisse des Few-Shot Learning zeigen, dass die Performance zwischen Classification Task, gemessen an der Accuracy, und der Handelsstrategie, gemessen an der Sharpe-Ratio, divergieren kann. Fine-Tuning zeigt gemischte Ergebnisse, aber es sollten keine finalen Schlussfolgerungen über dessen Nutzen zur Leistungsverbesserung gezogen werden, da diese Studie stark durch Budgetbeschränkungen eingeschränkt ist. Schließlich werden interessante Richtungen für zukünftige Forschung in den Bereichen Prompt Engineering, Few-Shot Learning und Fine-Tuning vorgeschlagen.
Abstract (eng)
In this thesis, the potential of GPT-3.5-Turbo in predicting stock returns using sentiment analysis of news headlines is investigated. The experiments of this study can be divided into two parts. In the first part, the results by Lopez-Lira and Tang (2023) are reproduced with a largely equivalent methodology, albeit with lower magnitude. It can be concluded that stock returns are predictable on a daily horizon with the help of GPT-3.5-Turbo. Apart from reproducing Lopez-Lira and Tang (2023)'s results, it is demonstrated that return predictability persists in 2023. Both limits-to-arbitrage and underreaction to news seem to play a role in explaining the cumulative returns of a self-financing long-short strategy, but the effect of limits-to-arbitrage is more pronounced. Predictability is larger for small caps and for short trades and only a small part of positive returns seem to persist after transaction costs. The study also finds strong evidence that a machine learning model trained on numerical data can complement large language models in the return prediction task of this study, if this model is used to filter news headlines before the sentiment classification task. In the second part of this study, three different optimization methods for large language models are tested: Prompt engineering, few-shot learning and fine-tuning. Prompt engineering is a cost effective and fairly straightforward approach to improve performance on the prediction task of this study. Few-shot learning results show that performance between the classification task, measured in accuracy, and trading strategy, measured in Sharpe ratio, can diverge. Fine-tuning shows mixed results, but no definitive conclusions on its merits for performance improvements should be drawn, as this study is severely limited by budget constraints. Finally, interesting directions for future research in the areas of prompt engineering, few-shot learning and fine-tuning are suggested.
Keywords (deu)
SprachmodelleLarge Language ModelsSentiment AnalyseAktienpreisvorhersageGPT-3.5-TurboHandelsstrategie
Keywords (eng)
Large Language ModelsSentiment AnalysisStock Price PredictionGPT-3.5-TurboTrading Strategy
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:2076062
rdau:P60550 (deu)
xi, 55 Seiten : Illustrationen
Number of pages
69
Association (deu)
Title (eng)
Predicting daily stock price movements using GPT-3.5-Turbo
Author
Michael Knaus
Abstract (deu)
In dieser Arbeit wird das Potenzial von GPT-3.5-Turbo zur Vorhersage von Aktienrenditen mittels Sentiment-Analyse von Nachrichtenüberschriften untersucht. Die Experimente dieser Studie lassen sich in zwei Teile gliedern. Im ersten Teil können die Ergebnisse von Lopez-Lira und Tang (2023) mit einer weitgehend äquivalenten Methodologie reproduziert werden, wenn auch in geringerer Größe. Es kann gefolgert werden, dass Aktienrenditen mit Hilfe von GPT-3.5-Turbo über einen eintägigen Zeitraum vorhergesagt werden können. Abgesehen von der Reproduktion der Ergebnisse von Lopez-Lira und Tang (2023) wird gezeigt, dass die Vorhersagbarkeit der Renditen auch im Jahr 2023 anhält. Sowohl Limits-to-Arbitrage als auch Underreaction to News scheinen eine Rolle bei der Erklärung der kumulativen Renditen einer selbstfinanzierenden Long-Short-Strategie zu spielen, jedoch ist der Effekt von Limits-to-Arbitrage stärker ausgeprägt. Die Vorhersagbarkeit ist größer bei Small Caps und bei Short-Trades und nur ein kleiner Teil der positiven Renditen scheint nach Transaktionskosten bestehen zu bleiben. Die Studie findet auch starke Belege dafür, dass ein Machine Learning Modell, das mit numerischen Daten trainiert ist, Large Language Models in dem Return Prediction Task dieser Studie ergänzen kann, wenn dieses Modell verwendet wird, um Nachrichtenüberschriften vor der Sentiment-Klassifizierung zu filtern. Im zweiten Teil dieser Studie werden drei verschiedene Optimierungsmethoden für Large Language Models getestet: Prompt Engineering, Few-Shot Learning und Fine-Tuning. Prompt Engineering ist ein kostengünstiger und relativ einfacher Ansatz zur Leistungsverbesserung im Prediction Task dieser Studie. Die Ergebnisse des Few-Shot Learning zeigen, dass die Performance zwischen Classification Task, gemessen an der Accuracy, und der Handelsstrategie, gemessen an der Sharpe-Ratio, divergieren kann. Fine-Tuning zeigt gemischte Ergebnisse, aber es sollten keine finalen Schlussfolgerungen über dessen Nutzen zur Leistungsverbesserung gezogen werden, da diese Studie stark durch Budgetbeschränkungen eingeschränkt ist. Schließlich werden interessante Richtungen für zukünftige Forschung in den Bereichen Prompt Engineering, Few-Shot Learning und Fine-Tuning vorgeschlagen.
Abstract (eng)
In this thesis, the potential of GPT-3.5-Turbo in predicting stock returns using sentiment analysis of news headlines is investigated. The experiments of this study can be divided into two parts. In the first part, the results by Lopez-Lira and Tang (2023) are reproduced with a largely equivalent methodology, albeit with lower magnitude. It can be concluded that stock returns are predictable on a daily horizon with the help of GPT-3.5-Turbo. Apart from reproducing Lopez-Lira and Tang (2023)'s results, it is demonstrated that return predictability persists in 2023. Both limits-to-arbitrage and underreaction to news seem to play a role in explaining the cumulative returns of a self-financing long-short strategy, but the effect of limits-to-arbitrage is more pronounced. Predictability is larger for small caps and for short trades and only a small part of positive returns seem to persist after transaction costs. The study also finds strong evidence that a machine learning model trained on numerical data can complement large language models in the return prediction task of this study, if this model is used to filter news headlines before the sentiment classification task. In the second part of this study, three different optimization methods for large language models are tested: Prompt engineering, few-shot learning and fine-tuning. Prompt engineering is a cost effective and fairly straightforward approach to improve performance on the prediction task of this study. Few-shot learning results show that performance between the classification task, measured in accuracy, and trading strategy, measured in Sharpe ratio, can diverge. Fine-tuning shows mixed results, but no definitive conclusions on its merits for performance improvements should be drawn, as this study is severely limited by budget constraints. Finally, interesting directions for future research in the areas of prompt engineering, few-shot learning and fine-tuning are suggested.
Keywords (deu)
SprachmodelleLarge Language ModelsSentiment AnalyseAktienpreisvorhersageGPT-3.5-TurboHandelsstrategie
Keywords (eng)
Large Language ModelsSentiment AnalysisStock Price PredictionGPT-3.5-TurboTrading Strategy
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:2082913
Number of pages
69
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0