Title (eng)
Analysis of translators' productivity gains in the process of neural machine translation post-editing related to the translated text's quality
Parallel title (deu)
Analyse der Produktivität beim Post-Editing der neuronalen maschinellen Übersetzung im Bezug auf die Qualität des Textes
Author
Julia Anna Watson
Advisor
Dragos Ioan Ciobanu
Assessor
Dragos Ioan Ciobanu
Abstract (deu)
Die maschinelle Übersetzung (MT) wird täglich genutzt, um große Mengen an Inhalten zu produzieren (Lommel & Pielmeier, 2021), wobei das Post-Editing (PE) als Schlüsselprozess zur Optimierung des Outputs dient. Allerdings ist der Zusammenhang zwischen PEMT-Qualität und Produktivität sowie anderen Einflussfaktoren noch unklar. Diese Arbeit verfolgt das Ziel, diese Aspekte zu untersuchen, indem auf folgende Fragen eingegangen wird: RQ1: Welcher Zusammenhang besteht zwischen der PE-Produktivität bei der maschinellen Übersetzung und der Qualität des übersetzten Textes? RQ2: Wie hängen die Produktivität und die Qualität der PEMT mit der Textsorte, den Sprachpaaren, der Ausbildung der Teilnehmer:innen und ihrer Erfahrung mit PE, den verwendeten NMT-Systemen und der Versuchsanordnung zusammen? Um diese Fragen zu beantworten, wurde ein Textkorpus, der aus dreißig Artikeln besteht, analysiert. Die Artikel untersuchen die PEMT-Produktivität und - Qualität im Falle von NMT. Die Ergebnisse wurden für RQ1 in Tabellen und für RQ2 in Diagrammen dargestellt. Einige der wichtigsten Ergebnisse dieser Untersuchung zeigen, dass a) PEMT in der Regel die höchsten Produktivitätsgewinne aufweist, wenn die geforderte unveränderte Qualität nicht formell gemessen wird; b) wenn die Qualität gemessen wird, sind die Produktivitätsgewinne viel geringer. In Bezug auf Frage 2 zeigen die Ergebnisse, dass: a) einige Sprachpaare eine Tendenz zu mehr Gewinnen/Verlusten aufweisen; b) professionelle Übersetzer:innen und erfahrene Teilnehmer:innen die besten Ergebnisse erzielen; c) PE die meisten Übersetzungen von Student:innen beeinflusst; d) kommerzielle NMT-Systeme die konsistentesten Ergebnisse liefern, während Fein-Tuning nicht immer stabile Ergebnisse garantiert; e) PE allgemeiner Texte die konsistentesten Ergebnisse erzielt; f) reguläre Übersetzungsumgebung nicht die besten Resultate garantiert. Die vorliegende Arbeit zeigt auf, dass sowohl die Produktivität als auch die Qualität von PEMT von verschiedenen Faktoren beeinflusst werden, was zu einem tieferen Verständnis der Mehrdeutigkeit der zu diesem Thema durchgeführten Studien beiträgt.
Abstract (eng)
Daily, machine translation (MT) is used to produce great amounts of content (Lommel & Pielmeier, 2021), with post-editing (PE) serving as a key process in optimizing its output. However, the relationship between PEMT quality and productivity, as well as other influencing factors, remains unclear. This thesis addresses these gaps by answering the following research questions: RQ1: What is the relationship between translators' productivity when post-editing machine translation and the translated text’s quality? RQ2: Do PEMT productivity and quality differ according to text types, language pairs, types of participants and their PE experience, used NMT systems, and experiment settings? In order to answer these questions a text corpus consisting of thirty articles investigating PEMT productivity and quality in the case of NMT was analyzed. The data was organized in tables for RQ1 and in charts for RQ2. Some of the main results of this exploration indicate that a) PEMT usually shows the highest productivity gains when the claimed unchanged quality is not formally measured; b) if the quality is measured, the productivity gains are much lower. For RQ2, findings indicate: a) some language pairs show a tendency to more gains/losses; b) professional translators and experienced participants exhibit the best scores; c) PE influences the most translations of students; d) commercial NMT systems yield the most consistent outcomes, while fine-tuning does not always guarantee stable results; e) PE general texts brings the most consistent outcomes; f) regular translation environment does not guarantee the best scores. This thesis highlights that both PEMT productivity and quality are influenced by various factors, contributing to a deeper understanding of the ambiguity of studies conducted on this topic.
Keywords (deu)
ProduktivitätQualitätMaschinelle ÜbersetzungNMTPE-ErfahrungPost-EditingSprachenkombinationen und Post-EditingPEMTNMT-SystemeAusbildung und Post-EditingTextsorte und Post-EditingVersuchsanordnung und Post-Editing
Keywords (eng)
productivityqualityNMTmachine translationpost-editing experiencelanguage combinations and post-editingPEMTtext types and post-editingeducation and post-editingexperiment settings and post-editing
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
Extent (deu)
119 Seiten : Illustrationen
Number of pages
119
Study plan
Masterstudium Translation Polnisch Deutsch
[UA]
[070]
[375]
[331]
Association (deu)
Title (eng)
Analysis of translators' productivity gains in the process of neural machine translation post-editing related to the translated text's quality
Parallel title (deu)
Analyse der Produktivität beim Post-Editing der neuronalen maschinellen Übersetzung im Bezug auf die Qualität des Textes
Author
Julia Anna Watson
Abstract (deu)
Die maschinelle Übersetzung (MT) wird täglich genutzt, um große Mengen an Inhalten zu produzieren (Lommel & Pielmeier, 2021), wobei das Post-Editing (PE) als Schlüsselprozess zur Optimierung des Outputs dient. Allerdings ist der Zusammenhang zwischen PEMT-Qualität und Produktivität sowie anderen Einflussfaktoren noch unklar. Diese Arbeit verfolgt das Ziel, diese Aspekte zu untersuchen, indem auf folgende Fragen eingegangen wird: RQ1: Welcher Zusammenhang besteht zwischen der PE-Produktivität bei der maschinellen Übersetzung und der Qualität des übersetzten Textes? RQ2: Wie hängen die Produktivität und die Qualität der PEMT mit der Textsorte, den Sprachpaaren, der Ausbildung der Teilnehmer:innen und ihrer Erfahrung mit PE, den verwendeten NMT-Systemen und der Versuchsanordnung zusammen? Um diese Fragen zu beantworten, wurde ein Textkorpus, der aus dreißig Artikeln besteht, analysiert. Die Artikel untersuchen die PEMT-Produktivität und - Qualität im Falle von NMT. Die Ergebnisse wurden für RQ1 in Tabellen und für RQ2 in Diagrammen dargestellt. Einige der wichtigsten Ergebnisse dieser Untersuchung zeigen, dass a) PEMT in der Regel die höchsten Produktivitätsgewinne aufweist, wenn die geforderte unveränderte Qualität nicht formell gemessen wird; b) wenn die Qualität gemessen wird, sind die Produktivitätsgewinne viel geringer. In Bezug auf Frage 2 zeigen die Ergebnisse, dass: a) einige Sprachpaare eine Tendenz zu mehr Gewinnen/Verlusten aufweisen; b) professionelle Übersetzer:innen und erfahrene Teilnehmer:innen die besten Ergebnisse erzielen; c) PE die meisten Übersetzungen von Student:innen beeinflusst; d) kommerzielle NMT-Systeme die konsistentesten Ergebnisse liefern, während Fein-Tuning nicht immer stabile Ergebnisse garantiert; e) PE allgemeiner Texte die konsistentesten Ergebnisse erzielt; f) reguläre Übersetzungsumgebung nicht die besten Resultate garantiert. Die vorliegende Arbeit zeigt auf, dass sowohl die Produktivität als auch die Qualität von PEMT von verschiedenen Faktoren beeinflusst werden, was zu einem tieferen Verständnis der Mehrdeutigkeit der zu diesem Thema durchgeführten Studien beiträgt.
Abstract (eng)
Daily, machine translation (MT) is used to produce great amounts of content (Lommel & Pielmeier, 2021), with post-editing (PE) serving as a key process in optimizing its output. However, the relationship between PEMT quality and productivity, as well as other influencing factors, remains unclear. This thesis addresses these gaps by answering the following research questions: RQ1: What is the relationship between translators' productivity when post-editing machine translation and the translated text’s quality? RQ2: Do PEMT productivity and quality differ according to text types, language pairs, types of participants and their PE experience, used NMT systems, and experiment settings? In order to answer these questions a text corpus consisting of thirty articles investigating PEMT productivity and quality in the case of NMT was analyzed. The data was organized in tables for RQ1 and in charts for RQ2. Some of the main results of this exploration indicate that a) PEMT usually shows the highest productivity gains when the claimed unchanged quality is not formally measured; b) if the quality is measured, the productivity gains are much lower. For RQ2, findings indicate: a) some language pairs show a tendency to more gains/losses; b) professional translators and experienced participants exhibit the best scores; c) PE influences the most translations of students; d) commercial NMT systems yield the most consistent outcomes, while fine-tuning does not always guarantee stable results; e) PE general texts brings the most consistent outcomes; f) regular translation environment does not guarantee the best scores. This thesis highlights that both PEMT productivity and quality are influenced by various factors, contributing to a deeper understanding of the ambiguity of studies conducted on this topic.
Keywords (deu)
ProduktivitätQualitätMaschinelle ÜbersetzungNMTPE-ErfahrungPost-EditingSprachenkombinationen und Post-EditingPEMTNMT-SystemeAusbildung und Post-EditingTextsorte und Post-EditingVersuchsanordnung und Post-Editing
Keywords (eng)
productivityqualityNMTmachine translationpost-editing experiencelanguage combinations and post-editingPEMTtext types and post-editingeducation and post-editingexperiment settings and post-editing
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
Number of pages
119
Association (deu)
License
- Citable links
- Other links
- Managed by
- Details
- Usage statistics-
- Metadata
- Export formats