لماذا تتعثّر النماذج اللغوية في العربية

المقطِّع: من هنا تخرج التكلفة

النموذج لا يرى حروفاً ولا كلمات، بل يرى tokens: قطعاً من النص تنتجها خوارزمية ضغط، غالباً byte-pair encoding، رُكِّبت على مدونة بعينها. فإذا كانت تلك المدونة إنجليزية في معظمها، تعلّمت الخوارزمية أن تسلسلاً مثل "tion" يستحق مقعداً في القاموس، وتركت العربية تتنافس على الفتات.

والنتيجة العملية تفتيت. الكلمة الإنجليزية متوسطة الطول تأتي غالباً token واحداً، بينما يصل المعنى نفسه بالعربية في ثلاث قطع أو أربع، وقد ينقسم النص عند مواضع لا تقابل شيئاً لغوياً: داخل الجذر نفسه، أو بين الكلمة والسابقة الملتصقة بها. ومقدار هذا الفارق يتفاوت كثيراً بحسب المقطِّع المستعمل.

ومن هذه الحقيقة الواحدة تتفرّع ثلاث تكاليف. المال: الفوترة بالـ token، فالمحادثة نفسها بالعربية أغلى. السياق: نافذة السياق الثابتة تستوعب كلمات عربية أقل. والجودة، بتحفّظ أكبر: الكلمة التي تصل في خمس قطع اعتباطية يجب أن تُجمَّع من مواضع لا تحمل دلالة صرفية، وقد وجدت أعمال قارنت بين المقطِّعات أن الأداء اللاحق يساير مدى ملاءمة التقطيع للغة. أما كم يفسّر ذلك من الفجوة بين العربية والإنجليزية فغير محسوم.

والعلاج غير برّاق وموضعه أعلى السلسلة: أن يُركَّب المقطِّع على عربية كافية حتى تنال الوحدات الصرفية العربية مقاعدها في القاموس. والاستدراك ممكن: يمكن إضافة رموز عربية إلى قاموس قائم، وتهيئة متجهاتها من متجهات القطع القديمة، ثم مواصلة التدريب المسبق، وهذا ما تفعله أكثر التكييفات العربية للنماذج الإنجليزية. ينجح الأمر، لكنه جولة تدريب ثانية، وكلما بُكِّر بالقرار الصحيح كان أرخص.

الجذر والوزن: كلمة واحدة بصور لا تكاد تُحصى

تبني العربية كلماتها بتمرير جذر صامت، ثلاثي غالباً، على وزن. من ك-ت-ب: كَتَبَ وكِتاب ومكتبة ومكتب وكاتب ومكتوب. الجذر يحمل الحقل الدلالي، والوزن يحمل الوظيفة النحوية. نظام أنيق، وهو نفسه سبب أن عدد الصيغ المتمايزة في العربية أعلى بكثير منه في الإنجليزية للمحتوى ذاته.

وفوق الوزن تلتصق بالكلمة سوابق ولواحق: أل التعريف، وحروف العطف والجر، وسين الاستقبال، وضمائر النصب والإضافة. فكلمة «وبمكتباتهم» كلمة واحدة مكتوبة تحتاج الإنجليزية إلى أربع لتؤدّيها. ويتصرّف الفعل بحسب المتكلم والمخاطب والغائب، والعدد، والجنس، والزمن، والبناء للمعلوم أو للمجهول، والمثنى عدد نحوي قائم بذاته إلى جانب المفرد والجمع.

وبالنسبة للنموذج تتوزّع بيانات التدريب على صور أكثر، فيقلّ نصيب كل صورة من الشواهد. والتقطيع دون الكلمة موضوع لحلّ هذا بالذات، وهو يحلّه فعلاً، لكن بشرط أن تقع حدوده على حدود صرفية حقيقية. وحين لا تقع يكون النموذج قد بنى تعميمه على قطع خاطئة.

الحركات التي لا تُكتب

الحركات القصيرة في العربية علاماتُ تشكيل، وخارج المصحف وكتب الأطفال والشعر لا أحد يكتبها؛ والقارئ يستعيدها من السياق ومن معرفته باللغة. والسلسلة غير المشكولة الواحدة قد تكون فعلاً مبنياً للمعلوم أو للمجهول أو اسماً: «كتب» وحدها تحتمل كَتَبَ وكُتِبَ وكُتُب، ولا يفصل بينها إلا ما حولها.

وبعضُ ذلك التباسٌ عاديٌّ تعرفه كل اللغات، لكن الفرق في الكثافة: الالتباس في العربية منهجي لا عارض، لأن طبقة كاملة من الأصوات تُحذف بانتظام، وعلى النموذج أن يستنتجها من الكلمات المجاورة. وموضعان يستحقان الانتباه لأن السياق أقلّ ما يعين فيهما: الخلط بين المبني للمجهول والمبني للمعلوم، وأسماء الأعلام التي يطابق رسمها غير المشكول كلمة شائعة.

ويمتدّ الأثر إلى ما بعد النموذج: أكثر أنظمة تحويل النص العربي إلى كلام تضع أمامها خطوة تشكيل آلي، والتشكيل الآلي نفسه مسألة بحثية مفتوحة، لا تفصيلة محسومة في المعالجة المسبقة.

أي عربية بالضبط؟

الفصحى المعاصرة لغة الأخبار والقانون ومعظم النص العربي على الويب العام، وهي ليست لغة أمٍّ لأحد. وما يتكلمه الناس، وما صاروا يكتبونه أكثر فأكثر في الرسائل والتعليقات والصوتيات المفرَّغة، لهجة؛ والمسافة بين اللهجات تكفي لأن يتحدث مغربي وعراقي كلٌّ بلهجته فلا يفهم أحدهما الآخر تماماً.

والفارق ليس لكنة، بل مفردات وتصريف وأدوات نفي وصيغ استفهام وقدر من التركيب يكفي ليُحدث فرقاً. وتُصدِّر العراقيةُ الفعلَ بـ«دَ» للدلالة على الاستمرار، ولها أدوات نفيها الخاصة، وتحمل رصيداً من الدخيل التركي والفارسي. والمصرية أقدم اللهجات عهداً بموارد المعالجة الحاسوبية للعربية: أوائل المدونات الموسومة وأكبرها كانت مصرية، بينما بُنيت بيانات الخليج والعراق متأخرة وأرقّ. والنماذج ترث هذا التاريخ: اطلب من نموذج عام أن يكتب بالعراقية فينزلق إلى المصرية.

وعادات الكتابة تزيد الأمر تعقيداً: لا إملاء موحّداً للهجات، فالكلمة الواحدة تظهر بعدة رسوم؛ والعربيزي — العربية بحروف لاتينية وأرقام تنوب عن أصوات لا مقابل لها فيها — كتابة ثانية على النموذج أن يتعامل معها. أما التناوب اللغوي (code-switching) مع الإنجليزية داخل الجملة الواحدة فهو القاعدة لا الاستثناء.

الاتجاه والخلط وما ينكسر خارج النموذج

العربية تُكتب من اليمين إلى اليسار، لكن الأرقام تسير من اليسار إلى اليمين، ومعها المصطلحات اللاتينية التي تحضر باستمرار في أي كتابة عربية عن البرمجيات. وخوارزمية Unicode ثنائية الاتجاه تحسم هذا وقت العرض وتنجح في الغالب، إلى أن تفشل: وعلامات الترقيم الملاصقة لحدّ الاتجاه هي موضع الفشل الكلاسيكي، فقد يظهر قوس أو نقطة بين عبارة عربية وأخرى لاتينية في الجهة الخطأ.

وهذه مشكلة عرض لا مشكلة نموذج، وتظهر تحديداً حيث ينتهي خرج النموذج: فقاعات المحادثة، ومحررات الكود، وسطر الأوامر، وملفات PDF المصدَّرة، والسجلات. وقد ينتج النموذج عربية سليمة تماماً فتُعرض مشوّهة لأن الواجهة المحيطة لم يُختبر سلوكها ثنائي الاتجاه أصلاً. ويفيد عزل المقاطع اللاتينية والرقمية، ويفيد أكثر النظر إلى الناتج المعروض بدل الثقة بالسلسلة النصية.

والتطبيع الحرفي هو الصنف الأهدأ من المشكلة ذاتها، وهو اختيار بلا جواب صحيح: الألف بالهمزة وبدونها، والتاء المربوطة والهاء، والياء والألف المقصورة يكتبها المستخدمون بلا اتساق، فأيّ مطبِّع يُلغي فروقاً حقيقية أحياناً. يفيد الاسترجاع، ويضرّ كل ما يحتاج النص كما هو حرفياً.

ماذا يجب أن تعني «عربية أولاً» لتستحق أن تُقال

للعربية عدد متحدثين يوازي كبريات لغات العالم، وحضورٌ على الويب لا يوازي ذلك بحال. وقد وجدت مراجعات مدونات الزحف الكبرى متعددة اللغات، مرة بعد مرة، أن أقسامها العربية — وأسوأها أقسام اللهجات — تحمل ترجمة آلية وتكراراً ونصاً موسوماً بلغة خاطئة، فالمدونة الفعلية أصغر مما توحي به الأعداد الخام. وكم هي أصغر؟ لا أحد قاسه قياساً نظيفاً. وتنظيفها مكلف، وأدوات التنظيف نفسها بُنيت واختُبرت على الإنجليزية في معظمها.

و«عربية أولاً» صارت عبارة تسويقية، وهي في أغلب الحالات برومبت نظام بالعربية ملفوف حول نموذج دُرِّب كما دُرِّب كل شيء آخر. وليس ذلك بلا فائدة؛ فالتوجيه يحسّن المستوى اللغوي واللهجة فعلاً. لكنه طبقة رقيقة فوق أساس مصمَّم على مقاس الإنجليزية.

ويصير الادّعاء ذا معنى حين يسمّي شيئاً قابلاً للفحص. هل يعطي المقطِّع العربيةَ نسبةَ الـ tokens إلى الكلمات قريبةً مما تناله الإنجليزية، وهل يمكن إظهار الرقم؟ وهل كُتب التقييم بالعربية أصلاً، أم تُرجم عن معيار إنجليزي يقيس جودة الترجمة من حيث لا يدري؟ وهل تُعامَل اللهجة هدفاً لا خطأً، مع تسمية اللهجات المقصودة؟ وهل سلامة RTL وثنائية الاتجاه متطلب وراءه اختبارات؟ ولكل جواب ثمن: قاموس ثقيل بالعربية يأخذ مساحة من لغات أخرى، والتقييم العربي الأصيل يكتبه بشر لا مترجم، وعمل اللهجات لا ينتقل من لهجة إلى أخرى.

ونحن في MentronX ننشر أرقام قياس لـ Firas AI مصدرها تقييم أجريناه بأنفسنا، لا جهة مستقلة، ونقول ذلك على الصفحة نفسها؛ وهذا بمعيار ما سبق إفصاحٌ لا حجّة. والإنصاف يقتضي القول إن ما تحسّن في المجال محدود وقابل للتسمية: اتسعت قواميس المقطِّعات في النماذج الشائعة من نحو 32 ألف مدخل إلى ما يزيد على مئة ألف، فصارت الكلمة العربية تنجو من التقطيع في قطع أقل. المسافة إلى الإنجليزية أقصر مما كانت، ولم تُغلق بعد.