Die gesteigerte Leistungsfähigkeit von aktuellen, großen Sprachmodellen (Large Language Models, LLMs) für unterschiedliche Aufgaben in der natürlichen Sprachverarbeitung haben den Bereich der Künstlichen Intelligenz revolutioniert und die Einführung von LLM-basierten Anwendungen in vielen Domänen beschleunigt. Inmitten dieses Hypes rund um LLMs darf aber nicht auf sicherheitsrelevante Aspekte, wie potenzielle Risiken für Datenlecks, vergessen werden, da LLMs üblicherweise mit sehr großen Datenmengen, die unter anderem sensible Daten beinhalten könnten, trainiert werden. Betrachtet man die schnelle Verbreitung von LLMs, bereitet besonders das Risiko, dass sensible oder persönliche Daten offengelegt werden könnten, erhebliche Bedenken. Daher ist das Ziel dieser Arbeit, ein Risikoanalysekonzept für Datenlecks aus den Trainingsdaten von LLMs zu entwickeln. Dieses Konzept umfasst mehrere Black-Box Angriffsstrategien, um das Datenleakpotenzial eines Eigennamenerkennungs- (Named Entity Recognition, NER) Modelles abzuschätzen und basiert auf der Annahme, dass Dateninstanzen, die für das Training des Modells verwendet wurden, höhere numerische Vorhersagewerte erhalten als solche, die nicht im Trainingsdatensatz inkludiert waren. Die Erkenntnisse dieser Arbeit zeigen, dass Ausgabewerte eines neuronalen Taggers als zuverlässiger Indikator dienen können, um Datenlecks in einem LLM zu erkennen und zu bewerten. Darüberhinaus wurden weitere Forschungsfragen aufgeworfen, die den Einfluss von Modellskalierung und Prompt-Engineering auf Datenlecks in LLMs thematisieren, aber weitere Untersuchungen erfordern, die über den Rahmen dieser Arbeit hinausgehen würden.

The enhanced performance of recent Large Language Models (LLMs) in different types of natural language tasks has revolutionized the field of artificial intelligence and accelerated the adoption of LLM-based applications in various domains. However, amidst the hype surrounding LLMs, security-related aspects, such as potential risks for data leaks, should not be neglected, as LLMs are typically trained on vast amounts of data, which may contain sensitive information. In particular, the potential for sensitive data leakage presents a growing concern for society as a whole considering the increased pervasiveness of LLMs. Therefore, the aim of this thesis is to develop a risk analysis framework for the leakage of sensitive information from the training data of LLMs. This framework involves several black-box attack strategies to estimate the information leakage of a Named Entity Recognition model and is based on the assumption that data instances that were used for the training of the model receive higher prediction scores than those that were not included in the training dataset. The findings in this thesis indicate that the output score of a neural tagger can serve as a reliable indicator to detect and estimate sensitive information leakage from a LLM. Furthermore, additional research questions have been raised addressing the influence of model scaling and prompt engineering on data leakages from LLMs, but require further investigation which extends beyond the scope of this thesis.