كيف تقرأ درجة اختبار نموذج ذكاء اصطناعي، ومتى لا تصدّقها

ماذا يعني الرقم حرفياً

أغلب اختبارات نماذج اللغة ليست في حقيقتها إلا ملف أسئلة. فـMMLU مثلاً 14042 سؤال اختيار من متعدد بأربعة بدائل، موزعة على 57 مادة. ومجموعة اختبار GSM8K 1319 مسألة حسابية من مستوى المدرسة. وHumanEval 164 دالة بايثون تُفحص كل واحدة منها باختبارات وحدة لا يراها النموذج. فحين يقول جدول إن نموذجاً سجّل 88، فالمقول حرفياً: على هذا الملف، وبقاعدة التصحيح هذه، خرجت هذه النسبة صحيحة. وما بعد ذلك استنتاج.

والاستنتاج معقول في الغالب، لكنه يضعف كلما ابتعد عملك عن الملف. مسألة HumanEval سطور قليلة مغلقة على نفسها؛ وصف الدالة يشرحها، لكن الاختبارات المخفية هي التي تقرّر أنجحتَ أم لا، وهي كثيراً ما تفحص حالات طرفية لم يذكرها الوصف. وقلّ أن يأتي العمل الحقيقي بهذه الهيئة: مهام ناقصة الوصف، داخل مشروع له أعرافه، ومعيار القبول في ذهن أحدهم. والفجوة بين الاختبار والعمل ليست عيباً فيه، بل هي تعريفه: بديل صغير قابل للتصحيح، اختير لأن تصحيح العمل الحقيقي مكلف.

وقواعد التصحيح تحرّك الأرقام بقدر ما تحرّكها قدرة النموذج. فبعض المجموعات تنشر أفضل نتيجة من عشر محاولات، وبعضها نتيجة محاولة واحدة. وصياغة الـprompt، وعدد الأمثلة الموضوعة قبل السؤال، بل ترتيب البدائل نفسه، قد تزيح النتيجة عدة نقاط دون أن يتغيّر النموذج، ولهذا قد ينشر طرفان أمينان رقمين مختلفين للنموذج نفسه على الاختبار نفسه.

حين يكون النموذج قد رأى الاختبار

الاختبارات العامة موجودة في العلن: في مستودعات الكود ومنصات البيانات، ومقتبسة في الشروحات، ومنسوخة في إجابات المنتديات، ويُعاد نشرها في الأبحاث والمدونات، وتُترجم. ولا يحتاج أحد إلى الغش كي تنتهي مجموعة الاختبار داخل بيانات التدريب؛ هذه هي النتيجة الافتراضية حين تُكشط الشبكة ذاتها التي نُشر عليها الاختبار.

والتنقية أصعب مما تبدو. علامات الـcanary، وهي إشارات فريدة تُزرع في مجموعة البيانات ليستبعدها المدرّبون، لا تنفع إلا ما دامت النسخ تحتفظ بها، والجدول المعاد تنسيقه داخل تدوينة لا يحتفظ بها. وإزالة التكرار بالمطابقة التامة لا تلتقط إعادة الصياغة ولا الترجمة التي تحمل الجواب نفسه. ومجموعة اختبار محفوظة تعطي درجة عالية بلا تعميم خلفها.

ويصعب من الخارج إثبات التسرّب لأن بيانات التدريب غير معلنة عادةً، لكن يمكن ترقّب أثره. ففي 2024 كلّف فريق في Scale AI كتابة GSM1k: ألف مسألة جديدة من مستوى المدرسة على غرار GSM8K في الأسلوب والصعوبة (arXiv 2405.00332). وتراجعت درجات عدة عائلات على المجموعة الجديدة تراجعاً واضحاً، وأكبر الفجوات في نماذج Phi وMistral، بينما لم تُظهر نماذج Gemini وGPT وClaude فرقاً يُذكر. وهذا دليل على التسرّب لا برهان عليه. ومع ذلك فالدرجة التي تصمد أمام اختبار أُعيدت كتابته أو اختبار خاص تساوي أكثر من الدرجة نفسها على مجموعة مضى على نشرها سنوات.

من الذي أجرى القياس

أرقام المختبر الذي صنع النموذج ليست كذباً بالضرورة؛ فهو الأقدر على الوصول إلى النموذج، وأوسعهم موارد حوسبة، ولديه كل الدافع ليقيس بعناية قبل الإطلاق. لكنه يختار أيضاً الـprompt، وعدد الأمثلة، وإعدادات التوليد، والجزء الذي ينشره، ومتى يتوقف عن إعادة التجربة. ولا يحتاج الأمر إلى تزوير كي يكون الرقم المنشور أحسن نتيجة بين قياسات كلها صادقة.

والتقييم المستقل يرفع هذا الضغط ويضيف ضغوطاً أخرى: بيئة قياس بإعدادات لم يُبنَ النموذج عليها، أو إسقاط الـsystem prompt والأدوات التي يعمل بها المنتج فعلاً، أو تقليص العينة بصمت بسبب حدود الاستخدام. وقياس داخلي متقن قد يكون أنفع من قياس خارجي متسرّع؛ فمصدر الرقم إشارة ضعيفة، والمنهج إشارة قوية.

فالسؤال إذن ليس من نشر الرقم، بل هل معه ما يكفي لإعادة إنتاجه: أي إصدار من النموذج، وفي أي تاريخ، وكم عدد الأسئلة، وكم مثالاً في الـprompt، وما إعدادات التوليد وقاعدة التصحيح. الرقم المرفق بهذا ادّعاء يمكن فحصه، والرقم بلا ذلك مادة تسويقية فيها فاصلة عشرية.

الفروق الصغيرة خطأ عيّنة في معظمها

الاختبارات عيّنات، ولدرجاتها هامش خطأ حتى لو بقي كل شيء آخر ثابتاً. في GPQA Diamond 198 سؤالاً؛ وعند دقة تقارب 50٪ يبلغ الخطأ المعياري لدرجة واحدة نحو 3.5 نقطة. وفي HumanEval لا تقع الدرجات إلا على مضاعفات 0.61، فالدرجة المنشورة 88.4 هي 145 مسألة من 164. ومقارنة نموذجين حسابٌ آخر غير قراءة درجة واحدة: فرق ثلاث نقاط على GPQA Diamond يساوي ستة أسئلة، وكونه حقيقياً أو لا يتوقف على مقدار اختلاف النموذجين في بقية الأسئلة، لأن الفحص الأمين لا ينظر إلا إلى الأسئلة التي اختلفا فيها، وستة نادراً ما تكفي لاجتيازه.

وخطأ العيّنة حدٌّ أدنى فحسب. فوقه تباين بين الجولات حين تكون درجة الحرارة أكبر من صفر، واختلاف بين بيئات القياس. وحين يتقارب نموذجان بضع نقاط، يكون الفصل بما يُقاس بلا لبس: الكلفة، وزمن الاستجابة، وطول السياق، وهل الخدمة متاحة عندك أصلاً.

لماذا قد لا تنفعك درجة عالية

الأعطال التي تؤلم في الإنتاج ليست غالباً ما تقيسه الاختبارات: نموذج يخالف مخطط JSON الذي فرضته، أو يُسقط قيداً عند الدور الثاني عشر، أو يخترع مرجعاً مقنعاً، أو يصيب في الجواب لكنه أبطأ من أن يصلح للتجربة التي تبنيها. ولا شيء من ذلك مُصحَّح في الجدول الذي تقرأه.

والتقييم الذي يتنبأ بنتيجتك هو الذي تبنيه أنت: ثلاثون إلى خمسون حالة حقيقية من استعمالك، بأجوبة تعدّها صحيحة، وقاعدة تصحيح تدافع عنها أمام زميل، تُعاد كلما غيّرت نموذجاً أو prompt. ومجموعة بهذا الحجم لن تحسم فرق خمس نقاط بين نموذجين، فالحساب السابق ما زال سارياً، لكن الترتيب ليس وظيفتها: وظيفتها التقاط الأعطال التي تهمّك أنت، وتنبيهك حين يكسر تغييرٌ شيئاً كان يعمل. وقيّم النظام كاملاً، الـprompt والاسترجاع والأدوات وصيغة الإخراج معاً؛ فالنموذج نفسه يعطي نتائج مختلفة باختلاف ما تلفّه به، ومقارنة الأنظمة ليست مقارنة النماذج.

ما الذي يجب أن يختلف في تقييم عربي

الاختبار المترجم يستورد افتراضات مصدره. فأسئلة عن القانون الأمريكي أو عن التاريخ الذي يُدرّس في ثانوياتهم، منقولةً إلى العربية، تقيس الترجمة والمعلومات العامة لا المعرفة التي يحتاجها مستخدم عربي. والترجمة الآلية تضيف مشكلة ثانية: خطؤها قد يترك السؤال بلا جواب صحيح أو يغيّر الجواب الصحيح، فيُحاسَب النموذج على غلط المترجم. والترجمة البشرية تصلح الصياغة لا الإطار الثقافي.

والعربية تأتي بأعطال لا تلمسها المجموعات الإنجليزية. فقد يكون النموذج فصيحاً بالفصحى ثم يضيع في اللهجة العراقية أو الخليجية. واختلاف الرسم، صور الألف، وموضع الهمزة، والتاء المربوطة مقابل الهاء، والتشكيل الاختياري، يعاقبه مصحّح المطابقة الحرفية وهو في الحقيقة يقيس عرفاً إملائياً. كما أن العربية تستهلك عادةً عدداً أكبر من الرموز (tokens) لكل كلمة في أدوات التقطيع الحالية، فالجودة نفسها تكلف أكثر ويمتلئ السياق أسرع؛ وتقييم يذكر الدقة وحدها يكون قد أغفل الجزء الذي يدفعه مستخدمك من الفاتورة. والمجموعة العربية الجادّة مكتوبة بالعربية، بأيدي متحدثين بها، عن أمور تُستعمل هنا فعلاً، وتعلن قواعد توحيد الرسم الإملائي قبل أن تعلن رقماً.