KI-gestützte lippensynchrone Videolokalisierung: Zwischen Effizienz und Qualitätsanspruch

Gemino hat für ein Unternehmen im Bereich Medizintechnik Videos in einem mehrstufigen Prozess KI-unterstützt lippensynchron lokalisiert.

Die Lokalisierung von Videoinhalten entwickelt sich derzeit rasant. Besonders im Bereich der KI-gestützten Sprachsynthese und Lippensynchronisation entstehen neue Möglichkeiten, Inhalte schneller und kosteneffizienter für unterschiedliche Märkte bereitzustellen. Gleichzeitig zeigt sich jedoch: Hochwertige Ergebnisse entstehen nicht auf Knopfdruck.

Im Zentrum des Projekts stand ein Testimonial-Video aus der Medizintechnik. Ein Arzt sprach darin teilweise Englisch, teilweise in seiner Muttersprache. Ziel war es, daraus eine vollständig deutschsprachige Version zu erstellen – inklusive synthetischer Stimme und lippensynchroner Anpassung der sichtbaren Sprechersequenzen. Die Herausforderung bestand nicht nur in den unterschiedlichen Ausgangssprachen und dem Akzent des Arztes, sondern auch in der visuellen Struktur des Videos. Der Sprecher war teils frontal, teils im Profil zu sehen oder überhaupt nicht im Bild, während seine Stimme kontinuierlich weiterlief.

Gerade diese Mischung macht deutlich, warum klassische „All-in-One“-KI-Plattformen in professionellen Szenarien oft an ihre Grenzen stoßen. Zwar versprechen viele Anbieter, Videos automatisiert zu übersetzen und lippensynchron auszugeben, doch insbesondere bei fachlich sensiblen Inhalten reichen die Ergebnisse häufig nicht aus. In regulierten Branchen wie der Medizintechnik muss sichergestellt werden, dass Aussagen inhaltlich korrekt und konform übertragen werden. Gleichzeitig benötigen Unternehmen Einflussmöglichkeiten auf den gesamten Prozess und die Qualität der einzelnen Bearbeitungsschritte.

Aus diesem Grund entwickelte Gemino einen mehrstufigen Prozess, der die einzelnen Arbeitsschritte voneinander trennt und kontrollierbar macht:

• Zunächst wurde ein Transkript der englischen sowie der fremdsprachigen Sprachanteile erstellt. Dies erfolgte KI-gestützt, wurde jedoch anschließend von Linguist:innen überprüft und korrigiert.
• Danach durchlief das Transkript einen kontrollierten, ISO-konformen Übersetzungsprozess ins Deutsche.
• Anschließend wurde die Stimme des Arztes per KI geklont und die übersetzten Sprechertexte wurden synthetisch erzeugt.
• Erst im letzten Schritt erfolgte die eigentliche Lippensynchronisation des Videos durch ein separates KI-basiertes Tool.

Der entscheidende Vorteil dieses modularen Ansatzes liegt in der Kontrolle über die Qualität der einzelnen Schritte. Fachbegriffe, Produktnamen oder Anglizismen werden in der automatischen Transkription, der unbeaufsichtigten KI-Übersetzung sowie bei der Sprachsynthese häufig nicht korrekt verarbeitet und müssen jeweils nachbearbeitet werden. Durch die Einbindung menschlicher Expert:innen konnten solche Fehler identifiziert und korrigiert werden. Das Ergebnis war ein qualitativ hochwertiges, durch einen kontrollierten Prozess entstandenes Video, das sowohl sprachlich als auch visuell überzeugte.

Der entwickelte Workflow umfasst rund zehn Prozessschritte und ist deutlich komplexer als einfache Untertitelung oder klassische Voiceover-Lösungen. Im Vergleich zu Untertiteln lag der Aufwand etwa 75 % höher. Gleichzeitig bleibt die KI-gestützte Lösung jedoch deutlich günstiger als eine vollständig studioproduzierte lippensynchrone Synchronisation mit professionellen Sprecher:innen.

Besonders interessant ist dabei die Skalierbarkeit des Ansatzes. Nicht jedes Projekt benötigt dieselbe Qualitätsstufe. Unternehmen können abhängig von Budget, Zeitrahmen und Zielmarkt entscheiden, welche Lokalisierungsvariante sinnvoll ist: von Untertiteln über synthetische Off-Stimmen bis hin zur vollständigen lippensynchronen Anpassung. KI eröffnet hier neue Möglichkeiten, insbesondere für Inhalte, die bisher aus Kostengründen nicht lokalisiert wurden.

Neben technischen und wirtschaftlichen Aspekten spielt auch die ethische und rechtliche Dimension eine zentrale Rolle. Für die Lippensynchronisation werden Bildinhalte manipuliert und Stimmen geklont. Daher ist die ausdrückliche Zustimmung der beteiligten Personen unverzichtbar. Datenschutz, Persönlichkeitsrechte und transparente Einwilligungsprozesse sind essenzielle Voraussetzungen für den verantwortungsvollen Einsatz solcher Technologien.

Das Projekt zeigt exemplarisch, dass künstliche Intelligenz die Videolokalisierung erheblich verändert – jedoch aktuell noch nicht als vollautomatische Lösung ohne menschliche Kontrolle. Gerade bei hochwertigen, sensiblen oder fachlich komplexen Inhalten bleibt der Mensch zentraler Bestandteil des Prozesses. Dabei haben intelligente Hybrid- Workflows aus KI-Technologie und menschlicher Qualitätssicherung die Nase vorn vor automatisierten KI-Plattformen.