لا تزال معظم النقاشات حول أداء الذكاء الاصطناعي اللغوي تتمحور حول اللغة الإنجليزية. يحقق نموذج ما أداءً جيدًا في معيار قياسي، ويُشاد به باعتباره الأحدث في هذا المجال، ثم يُعمم استخدامه عالميًا. لكن مجموعة متزايدة من الأدلة، كان آخرها مجموعة بيانات EU MMLU الجديدة الصادرة عن المفوضية الأوروبية، تُظهر أن الأداء القوي للغة الإنجليزية لا يُشير إلا إلى القليل جدًا عن كيفية تعامل النموذج مع اللغات الفرنسية أو المجرية أو المالطية. بالنسبة لأي شخص يعتمد على الترجمة الفورية بالذكاء الاصطناعي في الفعاليات الدولية، فإن هذه الفجوة ليست مجرد هامش أكاديمي، بل هي الفرق بين فهم المندوب للكلمة الرئيسية وعدم فهمها على الإطلاق.
هذا الأمر بالغ الأهمية لأن المعايير المستخدمة لتقييم نماذج اللغة الكبيرة (LLMs) تُحدد الأنظمة التي يتم نشرها والوثوق بها. إذا كانت هذه المعايير مبنية بالكامل تقريبًا باللغة الإنجليزية، فلن تُخبرنا عن أداء النموذج في أي مكان آخر، بما في ذلك اللغات التي يتحدث بها الجمهور المستهدف للترجمة الفورية المدعومة بالذكاء الاصطناعي.
تُعدّ EU MMLU مجموعة بيانات مرجعية متعددة اللغات جديدة أصدرتها المديرية العامة للترجمة التابعة للمفوضية الأوروبية. وهي تستند إلى فهم اللغة متعدد المهام الضخم (MMLU)، أحد أكثر الأطر استخدامًا لتقييم نماذج التعلم اللغوي، والذي يختبر النماذج عبر آلاف الأسئلة متعددة الخيارات التي تغطي 57 موضوعًا، من العلوم والقانون إلى الأخلاق والشؤون العامة.
يُكيّف مشروع EU MMLU هذا الإطار خصيصًا لسياق الاتحاد الأوروبي. ويركز على سبعة مجالات موضوعية مختارة لأهميتها للمؤسسات الأوروبية، ويغطي حاليًا ست عشرة لغة رسمية للاتحاد الأوروبي، بما في ذلك الكرواتية والتشيكية والهولندية والفرنسية والألمانية واليونانية والمجرية والأيرلندية والإيطالية والليتوانية والبولندية والبرتغالية والرومانية والسلوفاكية والسلوفينية، مع خطط لإضافة المزيد. وبدلًا من مجرد ترجمة الأسئلة الإنجليزية الموجودة، سعى المشروع إلى الحفاظ على المعنى والصعوبة وقيمة الاختبار نفسها في جميع النسخ اللغوية، بحيث تكون الدرجة في اللغة البولندية متطابقة مع الدرجة في اللغة الفرنسية.
معظم مجموعات بيانات تقييم الذكاء الاصطناعي مصممة باللغة الإنجليزية، وتعكس السياقات التعليمية والثقافية والاجتماعية الناطقة بالإنجليزية. قد يبدو النموذج الذي تم تدريبه واختباره بشكل أساسي على بيانات إنجليزية ذا كفاءة عالية، بينما يبقى أداؤه الفعلي في لغات أخرى غير مُقاس إلى حد كبير.
هذه هي تحديدًا الفجوة التي سعت المديرية العامة للترجمة إلى سدّها. وكما جاء في إعلان الاتحاد الأوروبي بشأن استخدام اللغات المتعددة، قد يحقق نموذج ما أداءً جيدًا في اللغة الإنجليزية، بينما يكون أداؤه ضعيفًا بشكل ملحوظ في الفرنسية أو المجرية أو المالطية. لا تكمن المشكلة الأساسية في عجز النماذج عن معالجة اللغات الأخرى، بل في أن المعايير القياسية نادرًا ما تختبرها بدقة كافية للكشف عن مواطن قصورها، لذا فإن نقاط الضعف في القواعد أو الفروق الدقيقة أو المصطلحات المتخصصة تمر دون أن يلاحظها أحد حتى يعتمد عليها جمهور حقيقي.
بالنسبة للترجمة الفورية المدعومة بالذكاء الاصطناعي تحديداً، فإن هذا الأداء غير المتسق له عواقب مباشرة. قد يتعامل النظام مع النصوص الإنجليزية الأصلية بشكل جيد، لكنه يُدخل أخطاءً أو عبارات غير سلسة أو يفقد المعنى بمجرد ترجمة نفس المحتوى إلى لغة هدف أقل اختباراً، وذلك تحديداً في اللحظة التي تكون فيها الدقة في غاية الأهمية للمستمع الذي يتابع النص في الوقت الفعلي.
لا تمثل فجوات الأداء اللغوي سوى جزء من الصورة. فقد نشرت المديرية العامة للترجمة أيضاً معايير جودة للتقييم متعدد اللغات تتجاوز دقة الترجمة لاختبار مدى قدرة نموذج الذكاء الاصطناعي على عكس قيم الاتحاد الأوروبي والتعامل مع المحتوى ذي الخصوصية الثقافية، بما في ذلك المصطلحات والفكاهة والإشارات وتنسيقات التاريخ والأرقام والاختلافات في النبرة أو مستوى الأدب المتوقع.
هذه هي تحديدًا العناصر التي تجعل الترجمة الفورية صعبة حقًا. فالمتحدث في المؤتمر الذي يستخدم مصطلحًا محليًا، أو إشارة ثقافية محددة، أو مستوى من الرسمية مرتبطًا بالتقاليد المحلية، يعتمد على أكثر من مجرد ترجمة حرفية. قد يترجم نظام الذكاء الاصطناعي، الذي لا يمتلك خبرة في هذا النوع من الفروق الدقيقة في لغة معينة، الكلمات حرفيًا بشكل صحيح، ولكنه يفقد المعنى أو النبرة المقصودة تمامًا. في حدث متعدد اللغات، يمكن لهذا النوع من الفجوة أن يغير كيفية وصول الرسالة إلى جزء من الجمهور، حتى عندما لا يلاحظ أحد وجود أي خطأ تقني.
من أبرز جوانب برنامج EU MMLU منهجيته. فعلى عكس معظم معايير التقييم متعددة اللغات، التي تعتمد بشكل أساسي على الترجمة الآلية لإنشاء أسئلة اختبار بلغات أخرى غير الإنجليزية، اعتمد برنامج EU MMLU نهجًا يركز على العنصر البشري. وقد تعاونت المديرية العامة للترجمة مع ما يقارب 250 طالبًا مترجمًا ومدير مشروع من شبكة الماجستير الأوروبية في الترجمة (EMT)، من 21 جامعة في أنحاء أوروبا، لترجمة ومراجعة أكثر من 1000 سؤال معياري.
هذا التمييز أهم مما قد يبدو للوهلة الأولى. فالمعيار المبني على الترجمة الآلية يُخاطر بأن يرث نفس نقاط الضعف التي يُفترض أن يكشفها، إذ يختبر مخرجات نموذج ما بمخرجات نموذج آخر بدلاً من اختبارها بمعيار بشري حقيقي. أما المراجعة البشرية فتُرسّخ التقييم على كيفية استخدام الناس للغة فعلياً، وهو المعيار الأهم للترجمة الفورية في الفعاليات الحقيقية، حيث الجمهور بشري والتسامح مع الأخطاء الطفيفة في الترجمة ضئيل.
تُحدد المديرية العامة للترجمة طموحها طويل الأمد بوضوح: وضع معيار جديد لتقييم الذكاء الاصطناعي متعدد اللغات في أوروبا، بحيث تعمل أنظمة الذكاء الاصطناعي بكفاءة متسقة عبر اللغات والثقافات بدلاً من أن يقتصر أداؤها على البيئات الناطقة باللغة الإنجليزية فقط. وإذا تحقق هذا الطموح، فإن فوائده العملية ستتجاوز بكثير نطاق المختبرات البحثية.
بالنسبة للمؤسسات التي تُنظم مؤتمرات دولية أو اجتماعات مؤسسية أو فعاليات عالمية، فإن تحسين معايير الأداء متعدد اللغات يُتيح رؤية أوضح لأنظمة الذكاء الاصطناعي الموثوقة في كل لغة، بدلاً من اكتشاف قصور أداء أداة معينة خارج اللغة الإنجليزية أثناء الفعالية. كما يُسهم ذلك في اتخاذ قرارات أكثر استنارة بشأن الحالات التي يكون فيها الاعتماد على الترجمة الفورية بالذكاء الاصطناعي وحده موثوقاً، والحالات التي يُحقق فيها النهج الهجين الذي يجمع بين الذكاء الاصطناعي والترجمة البشرية حماية أفضل للمعنى ودقة التفاصيل في لغة أو جمهور مُحدد.
لن تحلّ معايير مثل مؤشر الاتحاد الأوروبي للترجمة متعددة اللغات (EU MMLU) جميع الثغرات في مجال الذكاء الاصطناعي متعدد اللغات بين عشية وضحاها، لكنها تمثل نقلة نوعية في كيفية قياس الأداء والتواصل بشأنه. ومع تطور هذه المعايير التقييمية، فإنها توفر لمنظمي الفعاليات والمؤسسات وفرق التواصل أساسًا أوضح لاختيار حلول الترجمة الفورية المدعومة بالذكاء الاصطناعي والمناسبة للجمهور متعدد اللغات. لمعرفة المزيد حول كيفية تعامل Interprefy مع الترجمة الفورية المدعومة بالذكاء الاصطناعي عبر مختلف اللغات، استكشف منصة الترجمة الصوتية المدعومة بالذكاء الاصطناعي.