تقنية مزامنة الشفاه: ما أهمية مزامنة الشفاه كثيرًا

هل تتذكر أفلام جودزيلا القديمة؟ ظلت الشفاه تتحرك بعد انتهاء الصوت بالفعل، أو العكس. تسبب "مشكلة المزامنة" هذه انزعاجًا عميقًا لدى المشاهدين - ويطلق عليها علم الأعصاب اسم تأثير ماكغورك.

ما هو تأثير ماكجورك؟

تم اكتشاف هذا التأثير في عام 1976، وهو يوضح أن الدماغ يعالج المعلومات الصوتية والمرئية في وقت واحد. عندما لا تتوافق حركات الشفاه والصوت، يتلقى الدماغ إشارات متضاربة — ويصبح المشاهد غير متأكد مما يسمعه.

مشكلة المزامنة في الدبلجة التقليدية

يجب على الممثل الصوتي الذي يقلد الصوت الأصلي أن يتغلب على قيود الوقت. الجملة التي تنتهي بـ "Let me go" قد تكون أقصر باللغة الإسبانية ("Déjame ir") أو أطول باللغة الألمانية ("Lass mich gehen"). قد يبدو هذا الاختلاف بسيطًا، لكنه يصبح واضحًا على الشاشة.

كيفية عمل تقنية AI Lip Sync

تستخدم الأساليب الحديثة طريقتين مختلفتين:

• تمديد/ضغط وقت الصوت: تمديد أو ضغط الصوت المركب على طول محور الوقت. سريع، ولكن يمكن أن يؤدي إلى فقدان الجودة.
• إعادة تركيب الوجه: إعادة تشكيل منطقة شفة المتحدث وفكه في إطار الفيديو. تستخدم نماذج مثل LatentSync هذا الأسلوب. وكانت النتيجة أكثر إقناعًا بكثير ولكنها ثقيلة من الناحية الحسابية.

حالات الاستخدام الواقعية

تستثمر Netflix وAmazon Prime مئات الملايين من الدولارات في دبلجة المحتوى المرخص. تتمتع مزامنة الشفاه بتقنية الذكاء الاصطناعي بالقدرة على تقليل هذه التكلفة بشكل كبير. إنه متوفر في الإصدار التجريبي من خطط Spimov Pro.