Title (eng)
Automated queueing in opera.guru through live music alignment
Parallel title (deu)
Automatisierte Bedienung für opera.guru durch Live-Musikabgleich
Author
Dennis Gubbels
Advisor
Peter Reichl
Co-Advisor
Oliver Hödl
Assessor
Peter Reichl
Abstract (deu)
Opera.guru, "the smart subtitle solution", bietet eine Lösung Opern und andere Live-Aufführungen in Echtzeit zu untertiteln. Heutzutage ist ein Bediener erforderlich, der während der Aufführung Untertitelmeldungen zum richtigen Zeitpunkt sendet. Im Rahmen dieser Arbeit wurde ein automatisches System entwickelt, das diese Aufgabe übernehmen kann, sofern eine Tonaufnahme vorab vorhanden ist. Das System basiert auf dem Abgleich von Musiksequenzen, verwendet die Methode des Online Dynamic Time Warping und wurde erfolgreich in das bestehende System von opera.guru integriert. Zusätzlich wurden einige Erweiterungen des Basisalgorithmus entwickelt und analysiert. Besonders effektiv ist eine Erweiterung, die Kostenmatrizen verarbeitet, womit lineare Muster reduziert werden. Dies führt zu einer signifikanten Reduktion von großen Abgleichs-Fehlern. Simulierte Tests erwiesen, dass das System eine Aufführung von der Oper Verdi’s Rigoletto zwar effektiv verfolgen kann, mit der aktuellen Version aber nicht garantieren kann, dass der Abgleich während der gesamten Aufführung in hohe Maße akkurat bleibt. In einem Benutzertest, bei dem ein Teil von Rigoletto vorgeführt wurde, erwies sich das System bei der Automatisierung von opera.guru als effektiv. Die dazugehörige Umfrage zeigte, dass die Teilnehmer mit dem System in gleichem Maße zufrieden sind wie mit der manuellen Bedienung.
Abstract (eng)
Opera.guru, the smart subtitle solution, provides users with subtitles during live performances, particularly Operas. At present, opera.guru requires human control for every performance to release subtitles with the correct timing. In this project, an automated system is created that replaces this role, provided that a single recorded performance is available. The system is built on real-time music sequence alignment through the Online Dynamic Time Warping method. It is successfully integrated into the existing opera.guru service. A number of novel extensions to the base algorithm and existing improvements are developed and evaluated. Of these, a new matrix pre-processing step to reduce linear patterns proves especially effective, producing a significant reduction in large alignment-errors. In simulated testing, the system proved capable of effectively tracking a performance of Verdi’s Rigoletto, but was not able to guarantee high accuracy throughout the full performance. During a user experience trial, the algorithm effectively aligned an excerpt from Rigoletto with sufficient accuracy for the opera.guru use case. The survey responses from the audience of this trial indicate that there is no significant difference in user experience between a human operator and the automated system.
Keywords (deu)
Musikabgleichopera.guruEchtzeitAutomatisierungPartiturverfolgungOper
Keywords (eng)
music alignmentopera.guruliveautomationscore followingopera
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
Extent (deu)
xi, 61 Seiten : Illustrationen
Number of pages
76
Study plan
Masterstudium Informatik
[UA]
[066]
[921]
Association (deu)
Title (eng)
Automated queueing in opera.guru through live music alignment
Parallel title (deu)
Automatisierte Bedienung für opera.guru durch Live-Musikabgleich
Author
Dennis Gubbels
Abstract (deu)
Opera.guru, "the smart subtitle solution", bietet eine Lösung Opern und andere Live-Aufführungen in Echtzeit zu untertiteln. Heutzutage ist ein Bediener erforderlich, der während der Aufführung Untertitelmeldungen zum richtigen Zeitpunkt sendet. Im Rahmen dieser Arbeit wurde ein automatisches System entwickelt, das diese Aufgabe übernehmen kann, sofern eine Tonaufnahme vorab vorhanden ist. Das System basiert auf dem Abgleich von Musiksequenzen, verwendet die Methode des Online Dynamic Time Warping und wurde erfolgreich in das bestehende System von opera.guru integriert. Zusätzlich wurden einige Erweiterungen des Basisalgorithmus entwickelt und analysiert. Besonders effektiv ist eine Erweiterung, die Kostenmatrizen verarbeitet, womit lineare Muster reduziert werden. Dies führt zu einer signifikanten Reduktion von großen Abgleichs-Fehlern. Simulierte Tests erwiesen, dass das System eine Aufführung von der Oper Verdi’s Rigoletto zwar effektiv verfolgen kann, mit der aktuellen Version aber nicht garantieren kann, dass der Abgleich während der gesamten Aufführung in hohe Maße akkurat bleibt. In einem Benutzertest, bei dem ein Teil von Rigoletto vorgeführt wurde, erwies sich das System bei der Automatisierung von opera.guru als effektiv. Die dazugehörige Umfrage zeigte, dass die Teilnehmer mit dem System in gleichem Maße zufrieden sind wie mit der manuellen Bedienung.
Abstract (eng)
Opera.guru, the smart subtitle solution, provides users with subtitles during live performances, particularly Operas. At present, opera.guru requires human control for every performance to release subtitles with the correct timing. In this project, an automated system is created that replaces this role, provided that a single recorded performance is available. The system is built on real-time music sequence alignment through the Online Dynamic Time Warping method. It is successfully integrated into the existing opera.guru service. A number of novel extensions to the base algorithm and existing improvements are developed and evaluated. Of these, a new matrix pre-processing step to reduce linear patterns proves especially effective, producing a significant reduction in large alignment-errors. In simulated testing, the system proved capable of effectively tracking a performance of Verdi’s Rigoletto, but was not able to guarantee high accuracy throughout the full performance. During a user experience trial, the algorithm effectively aligned an excerpt from Rigoletto with sufficient accuracy for the opera.guru use case. The survey responses from the audience of this trial indicate that there is no significant difference in user experience between a human operator and the automated system.
Keywords (deu)
Musikabgleichopera.guruEchtzeitAutomatisierungPartiturverfolgungOper
Keywords (eng)
music alignmentopera.guruliveautomationscore followingopera
Subject (deu)
Subject (deu)
Type (deu)
Persistent identifier
Number of pages
76
Association (deu)
License
- Citable links
- Other links
- Managed by
- DetailsObject typeContainerCreated26.06.2022 08:20:02 UTC
- Usage statistics-
- Metadata
- Export formats