Die Wichtigkeit satz-alignierter bilingualer Korpora, auch paralle Korpora
genannt, als Trainingsdaten für maschinelle Übersetzungsysteme und für eine
Vielzahl anderer Sprachtechnologieanwendungen ist in den letzten Jahren im-
mer deutlicher geworden. Sogar noch mehr gefragt sind Korpora, die eine bes-
timmte Domäne abdecken und somit noch zielgerichteter für das Training
von Deep Learning, statistischen oder beispielbasierten Systemen sind. Das
Ziel dieser Doktorarbeit ist es, die Realisierbarkeit der automatisierten Erstel-
lung von parallelen Daten aus Wikipedia zu untersuchen. Insbesondere wer-
den Sprachpaare untersucht, die in Hinblick auf Oberflächenstruktur und
andere Aspekte sehr unterschiedlich sind. Genauer gesagt, wie kann domä-
nenspezifischer Text aus Wikipedia effizient gesammelt werden, wie können
diese Daten auf Satzebene aligniert werden und wie können diese Satzpaare
evaluiert werden, um die bestmöglichen Übersetzungskandidaten zu bekom-
men.
Die Forschungsfragen sind: Wie viel des Wikipedia-Inhaltes kann verwen-
det werden, um bilinguale Korpora für ein bestimmtes Sprachpaar zu bauen
und wie können diese Texte effizient aligniert werden; all das mit minimalem
menschlichem Input.
Für die Beantwortung dieser Frage wurden zwei Sprachen gewählt, die
repräsentativ für die Fragestellung sind, nämlich Englisch und Japanisch. Der
Ablauf, die Algorithmen, die Softwaremodule und das daraus resultierende
Korpus sind als Proof of Concept zu verstehen und können an andere Domä-
nen und Sprachpaare angepasst werden.
Diese Arbeit schlägt eine Methode für themenspezifisches Datensammeln
aus Wikipedia, eine Alignierungsmethode und eine Qualitätsmetrik vor. Die
Algorithmen der in dem Zusammenhang entstandenen Software sind sowohl
generisch beschrieben, wie auch in Python implementiert. Das Ergebnis einer
Iteration der Software, 66,000 Satzpaare, ist der erste experimentelle Daten-
satz. Dieser Datensatz wird von Experten evaluiert, um die Ergiebigkeit, Um-
setzbarkeit und Effizienz dieser Methode zu untersuchen.

The significance of sentence-aligned bilingual corpora, so-called parallel
corpora, as training sets for machine translation systems and for various other
language technology applications has become more and more evident in re-
cent years. Even more desirable are collections which address a certain domain
and hence offer more precise data for training of deep learning, statistical, or
example-based approaches. The goal of this doctoral dissertation is to exam-
ine the feasibility of automated bilingual corpus creation from Wikipedia,
specifically for languages which differ significantly in surface characteristics
and other aspects. More precisely, how can Wikipedia be crawled to obtain
domain-specific corpora in an efficient way, how can these corpora be sentence-
aligned, and how can these alignments be evaluated to obtain the highest pos-
sible probability of a translated or equivalent sentence.
The research questions addressed in this work are: How much of the text
on Wikipedia content can be used to build a bilingual aligned corpus for a spe-
cific language pair, and how can these texts be selected and aligned efficiently,
all with minimal human input in the process.
The question is addressed by selecting two languages, which are represen-
tative of a dissimilar pair, English and Japanese. The resulting procedure, al-
gorithms, software modules, and created corpus are a proof of concept, which
can be adjusted in order to be applied to other dissimilar language pairs.
This dissertation proposes a method for crawling from Wikipedia by topic,
aligning this data into a parallel corpus and a novel metric that measures the
relative quality of this alignment. The resulting program tool chain is pre-
sented as a generic algorithm and is implemented in the Python programming
language. The result of a first iteration of the software resulted in an English-
Japanese parallel corpus of 66,000 sentence pairs. Human expert evaluations
are presented to show the yield, feasibility, and efficiency of this method.