لماذا يختلق النموذج إجابات، وما الذي يقلّل ذلك فعلاً

عمليةٌ واحدة تُخرج الصواب والخطأ

عند كل خطوة يقدّر النموذج أيّ رمز (token) يُرجَّح أن يأتي بعد ما كُتب، ثم يختار واحداً ويكرّر. والهدف الذي دُرِّب عليه هو ترجيح ما يناسب السياق، لا مطابقة الواقع. ثم يُضبط على تفضيلات بشرية تدفعه نحو إجابات يراها الناس مفيدة وواضحة ومُجارية لما طُلب منه. ولا تقيس المرحلتان الصدق قياساً مباشراً؛ والثانية تكافئه حيث انتبه المقيّم إلى الخطأ فحسب، أي أنها تكافئ الصدق أحسن ما تكافئه حيث يسهل كشف الخطأ، وأسوأ ما تكافئه في كل ما عداه.

وليس في داخله مخزن منفصل للحقائق يعود إليه. فما يعرفه مُبعثَر داخل مليارات الأوزان، مختلطاً بالنحو والأسلوب؛ لا سجلّ يُستعلم عنه، ومن ثمّ لا إخفاق يُعلن عن نفسه. فحين تجعل البيانات الجملةَ الصحيحة هي الأرجح — دجلة يمرّ ببغداد — يخرج الصواب. وحين لا يوجد في البيانات ما يثبّت الجواب، كرقم DOI لبحث بعينه، تظلّ الآلية نفسها تعمل فتُخرج شيئاً على هيئة رقم DOI. ولا شيء يفصل بين الحالتين، ولا حدّ يُعبر عنده من واحدة إلى أخرى.

ولهذا فكلمة «هلوسة» تسمية رديئة: توحي بخلل طارئ في عملية سليمة، والأقرب أنها التشغيل الطبيعي على مدخلات تفترق فيها الفصاحة عن الدقة. بل تذهب أبحاث حديثة في التقييم إلى أن هذا السلوك مُكتسَب بالتدريب: فاختبارٌ يمنح صفراً لـ«لا أعرف» والدرجة كاملة لتخمين موفَّق يجعل التخمين هو الاستراتيجية المثلى، والنماذج تُحسَّن على هذه الدرجات بالضبط.

المواضع التي يختلق فيها بانتظام

المراجع أسوأها، لأن شكلها شديد الانتظام: مؤلف، سنة، عنوان، مجلة، مجلّد، صفحات، معرّف. يستطيع النموذج توليد استشهاد مضبوط التنسيق تماماً لبحث لم يُكتب قط، والتنسيق نفسه هو ما يجعله مقنعاً. ففي قضية Mata v. Avianca سنة 2023 قدّم محامٍ في نيويورك مذكّرة تستند إلى قضايا غير موجودة، وعوقب على ذلك. وليست حالة شاذّة: قاست دراسة من Stanford RegLab سنة 2024 نسب الاختلاق على أكثر من 800 ألف سؤال قابل للتحقّق عن قضايا فدرالية أميركية، فبلغت 58% مع GPT-4 و88% مع Llama 2.

والأرقام والتواريخ تسقط لسبب قريب: سلسلة الأرقام رخيصة التوليد ولا تحمل أيّ تحقّق داخلي، وكذلك الأسماء المنقولة بين الأبجديتين حيث تتزاحم صيَغ متقاربة.

ثم كل ما هو نادر أو محليّ؛ فكلما رقّت بيانات التدريب في موضوع زاد اعتماد النموذج على الاستكمال بين أشياء يعرفها نصف معرفة. والقارئ العربي يصطدم بهذا أكثر مما توحي به النقاشات الإنكليزية: المؤسسات المحلية والمحتوى باللهجة العراقية والمصادر العربية ضعيفة التمثيل لأسباب أفردنا لها مقالاً هنا؛ فالنموذج الذي يستطيع إعادة صياغة نصّ فدرالي أميركي واسع الانتشار سيخترع لك تعليمات عراقية اختراعاً، ولن يقلّ الجواب العربي سلاسةً من أجل ذلك.

وأخيراً كل ما تفترضه صياغتك أنت. إن سألت «لماذا يسبّب كذا كذا» فالاستكمال الأرجح تفسير. والسؤال الذي يخبّئ في داخله مقدّمة خاطئة من أضمن طرق انتزاع اختلاق: أنت سلّمته الإطار وهو أكمله.

نبرة الثقة أسلوب كتابة لا دليل صحّة

النبرة الواثقة آتية من طبقة النصوص التي دُرِّب على محاكاتها، ومن الضبط اللاحق الذي كافأ الأسلوب المباشر النافع. فسلاسة الجواب وتفاصيله وهيبته تُنتَج قبل أيّ سؤال عن صحّته، ولا تدلّ عليها في شيء. وقد ذكرت جهات مطوِّرة أن الضبط على التفضيلات البشرية قد يجعل تقديرات النموذج الاحتمالية أقلّ معايرةً (calibration) من النموذج الأساس.

ولهذا فسؤال «هل أنت متأكد؟» شبه عديم الجدوى؛ أنت تمنحه جولة كلام إضافية في سياق صار يحمل إشارة استياء، والنماذج المضبوطة على التفضيلات تميل إلى مجاراة المستخدم. وقد وجدت دراسات اختبرت التصحيح الذاتي الداخلي — أي مراجعة الجواب دون أيّ معلومة جديدة — أن الجواب كثيراً ما يسوء بدل أن يتحسّن.

ولا ينبغي المبالغة في هذا؛ فثمّة أبحاث جارية ترجّح أن الحالات الداخلية للنموذج تحمل قدراً من الإشارة إلى صحّة جوابه، وأن احتمالات الرموز ليست ضجيجاً خالصاً، لكن تلك الإشارة ليست ما يصلك في هيئة نبرة. وثمّة فحص واحد لا يكلّفك شيئاً ولا يحتاج مصدراً بين يديك: اسأل السؤال نفسه في جلسة جديدة مرّتين أو ثلاثاً. اختلاف الأجوبة دليل قوي على التخمين، وتطابقها دليل ضعيف على أيّ شيء.

ما الذي يقلّل الاختلاق فعلاً، مرتّباً بالأثر

أعطه النص. أكبر تحسين متاح لك هو نقل المهمة من الاستدعاء إلى القراءة: الصق العقد أو البحث أو السجلّ أو المواصفة. وأنظمة الاسترجاع (retrieval) تفعل هذا على نطاق واسع، وسرّ نجاحها ليس براعة الصياغة بل أن الجواب صار حاضراً في السياق. وهذا ليس بلا كلفة: حين يعيد الاسترجاع مقاطع لا تتضمّن الجواب يميل النموذج إلى الإجابة رغم ذلك، ولهذا تُضاف هنا — وهنا وحده — عبارة «إن لم يقل المصدر شيئاً فقل إنه لم يقل». وللإجابة من المصادر أعطابها الخاصة، وقد بسطناها في موضع آخر.

اطلب استشهادات تستطيع فتحها، ثم افتحها؛ فالقيمة كلها في الفتح. وأقوى منه أسلوب «الاقتباس ثم الجواب»: اشترط الجملة الحرفية من المصدر قبل الاستنتاج المبني عليها؛ فالاقتباس المزيّف من مستند بين يديك ينكشف فوراً، بخلاف الاستنتاج المزيّف.

جزّئ السؤال. سؤال واحد يخفي خمس خطوات يعيد إليك فقرة واثقة بداخلها خطوة خاطئة مدفونة؛ وحين تُفكَّك الخطوات وتظهر قيمها الوسيطة يصير العمل نفسه قابلاً للفحص.

دعه يفكّر أطول حين يجب أن يكون الجواب صحيحاً. فالنماذج التي تُنتج تفكيراً مُطوَّلاً قبل الجواب أفضل بفارق قابل للقياس في المسائل التي يمكن اشتقاق جوابها: الحساب، والاستنتاج المتعدّد الخطوات، والاتساق الداخلي، وكشف المقدّمة الخاطئة. لكن التفكير الأطول لا يصنع معرفة لم تكن في البيانات أصلاً، وتقارير الجهات المطوّرة نفسها تُظهر أن هذه النماذج ما زالت تختلق.

ما الذي لا ينفع مهما تكرّر

أن تقول للنموذج «لا تهلوس» يعطيك أقلّ بكثير مما يَعِد. فالذي يتغيّر فعلاً هو النبرة: يصير الجواب أكثر تحفّظاً وتحوّطاً، وأكثر ازدحاماً بعبارات مثل «تقريباً» و«في الغالب»، فتحصل على اختلاق محفوف بالتحوّط لا على اختلاق أقلّ. أما التعليمات التي تستحقّ مكانها فهي التي تسمّي شرطاً قابلاً للفحص للامتناع، كغياب المعلومة من مصدر موضوع أمامه، بدل أن تطلب منه الحكم على معرفته هو.

وضبط درجة الحرارة (temperature) على صفر يزيل التنوّع لا الخطأ: تحصل دائماً على الاستكمال الأرجح، فإن كان خاطئاً حصلت على الخطأ نفسه في كل مرة تقريباً (فالاستدلال على خوادم مستضافة ليس حتمياً بدقّة البِت حتى عند الصفر)، وهو ثبات يسهل أن يُقرأ خطأً على أنه موثوقية. ونِسَب الثقة التي يعلنها النموذج عن نفسه مبالَغ فيها بانتظام، وتتجمّع عند حفنة أرقام مدوّرة مهما اختلف السؤال، فهي تفصل بين الجواب المتين والتخمين فصلاً أضعف بكثير مما توحي به دقّة الرقم. اقرأها مزاجاً، لا احتمالاً.

أما التهديد والوعد بالمكافأة وطقوس التأدّب فتغيّر أسلوب الجواب تغييراً مؤكداً، وما قيس من أثرها في الدقّة صغير ومتقلّب بين النماذج والمهام ولم يصمد جيداً عند إعادة الاختبار: ليس مما يُبنى عليه سير عمل.

تقليل، لا حلّ

لا توجد طريقة منشورة تُلغي هذا السلوك، بل ثمّة حجج نظرية على أن إلغاءه غير ممكن أصلاً: نظام مُلزَم بإخراج جواب لسؤال لا تحدّده بياناته سيخطئ في نسبة ما، والمتاح لك هو حجم تلك النسبة وهل تكتشفها أم لا. فاستعمل هذه الأنظمة حيث يكون التحقّق رخيصاً: شيفرة تُشغّلها، ومستندات بين يديك. وتشدّد كثيراً حيث يكون الخطأ مكلفاً: الطب والقانون والمال، وكل ما ستوقّع عليه باسمك.

ومن جانبنا، Firas Brain يجيب من مستندات تعطيه إيّاها ويستشهد بها — وهذا يختصر التحقّق ولا يلغيه.